2015s on SmartNews Engineering Blog

Karma + Coveralls で行う webpack プロジェクトのテスト

Thu, 12 Nov 2015 18:28:25 +0900

はじめに

みなさまはじめまして、SmartNews の井口（いのくち; @kainoque）と申します。主にサーバサイドおよび各種管理コンソールの開発を行っています。弊社における開発案件はネイティブアプリおよびそのバックエンドである各種 API サーバに関するものが大半です。一方で、社内・社外向けの各種管理画面については、Web フロントエンドに関する開発も行っています。今回は、フロントエンド開発の話題として、掲題のとおり、webpackプロジェクトのテストにまつわるあれこれをお話します。

データサイエンスとニュースパブリッシングの融合を目指して -- SmartNews Tech Night Vol.3

Fri, 23 Oct 2015 15:20:27 +0900

スマートニュース株式会社でソフトウェアエンジニアをやっております、西尾と申します。自分はニュースアプリSmartNewsの配信記事を編成し、通知すべき記事を決定するアルゴリズムの開発をしています。ニュース記事の時事性・重要性・注目度などを自動的に評価するアルゴリズムを改良し、より良質な記事が配信されるようにすることが自分の役割です。現状のSmartNewsの記事編成は、専門性を持った人間による記事編成と比較してみるとまだまだ改善すべき点があり、これをいかに人間の結果に近づけ、そして越えていくか、ということに挑戦しています。

弊社ではSmartNews Tech Nightという勉強会を定期的に開催しております。もう2ヶ月以上前となってしまいましたが、2015年8月11日に行われた第三回目の勉強会は、”Data Science for News”というサブタイトルを持たせてメディアとテクノロジーをテーマにして開催されました。僕はアルゴリズム改良のためのヒントを得るために会場の端で聴講していました。この時のメモを元に本イベントの内容をご紹介いたします。

幅広いユーザーをサポートするために

Tue, 06 Oct 2015 13:26:18 +0900

SmartNews, IncでAndroidアプリを書いている森と申します。好きな魔法使いは心先輩とアダラパタです。

ところで、僕が普段づかいしている携帯電話はIS03といいます。理由はレディ・ガガが宣伝していてかっこよかったのと、5年弱使っていてまだ壊れないからです。ですが搭載されているAndroid OSのアップデートは2.2.1（Froyo）で打ち止めとなり、使えるアプリも最近ずいぶん少なくなってしまいました。しばらく前にもさるアプリが、起動直後Playストアに強制遷移させて端末が対応していない旨を表示する機能専用になってしまいましたが、おもしろいのでそのまま放置してあります。

Itamae、Auto Scaling、CodeDeployを用いてdeployフローを刷新した話。そして板前をprovisioningした話。

Thu, 01 Oct 2015 15:14:00 +0900

はじめに

こんにちは。スマートニュースの大平です。主にさだまさしに関するネタが切れたために、こちらのブログではしばらくご無沙汰でした。

さだまさしといえばみなさんご存知の通り、デビュー40周年を超え、創りだされた楽曲は500曲以上、ソロコンサートの回数はゆうに4100回を超え、還暦を超えた今でも年間100回前後のコンサートを重ねる、現代歌謡界におけるレジェンド的な存在です。

とはいえ40年の間さだまさしは常に同じ姿のまま過ごしてきた訳ではありません。たとえば、彼は声帯を痛めるなどの要因もあり今まで大きく分けて３回ほど発声方法を変えています。ここで詳述するといろいろ苦情が来そうなので短くまとめると、声帯を痛める毎に喉に負担がかからず体全体で声を出すような歌唱法に変えたため、今は昔のような高音で華麗な歌声ではないですが、オペラ歌手のような太くて堅牢な声になり、結果以前よりたくましく、還暦とは思えないペースで音楽活動を続けています。

この例からも分かるように、コンサートという名の instance を継続的に provisioning し、楽曲というプログラムを deploy し続けるためには、その時々に応じて不断の努力と変化が必要となります。

背景

だいぶネタ振りに強引さがありましたが、ご了承ください。

PipelineDBをProductionに導入してみました。 How SmartNews Utilizes PipelineDB

Wed, 09 Sep 2015 09:31:40 +0900

ENGLISH FOLLOWS BELOW

こんにちは、たむたむ(@tamtam180)です。 SmartNewsでは主に広告の配信サーバを書いています。

最近、PipelineDBというContinuous Queryをサポートする製品を導入したのでそのレポートを書きます。なお、セットアップ方法は本家のサイトを見れば誰でも出来るので、そのあたりは割愛します。

競合にあたる製品としては、NorikraやAzureのStream Analyticsがあり、日本のエンジニア界隈ではNorikraを好んで使用していると思います。

Lambda で Cache Invalidate を自動化する

Fri, 21 Aug 2015 09:56:39 +0900

スマートニュース株式会社の尾形 (@nobu666) です。インフラ専任エンジニアが一人もいない弊社ですので、自分もインフラエンジニアと名乗らずに、飲酒系エンジニアとか言っておこうと思っております。

さて、今回は軽めのネタをご紹介させていただこうと思います。弊社では全面的に AWS を採用しており、2015年6月に Lambda が Asia Pacific (Tokyo) のリージョンで利用可能になりましたので早速使ってみました。AWS Lambda の詳細については、製品ページをご覧ください。

やりたいこと

弊社ではCDNとして Amazon CloudFront と Akamai Download Delivery を併用しています。その中でも、ニュース記事のサムネイル画像なんかは Amazon S3 を Origin にして画像の配信を行っています。あまりアグレッシブに Cache してしまうと画像の差し替えがあった時に困るのと、そもそも Cache Invalidate を管理画面から手動でやらなくてはならないため面倒です。Lambda が使えるようになったので、だったら S3 にファイルが上がった時点で勝手に Cache Invalidate するようにできれば、アグレッシブな Cache を行ってもいいし、人間が行う作業も減るし一石二鳥というわけです。

やってみる

入門ガイドが用意されているので、基本的にそれに従って準備を進めます。

IAMロールの設定

以下のような感じで logs / s3 / lambda / cloudfront それぞれの権限をつけてやります。 Resource 部分の* は必要に応じて絞るなりなんなりしてください。

シリコンバレーでMeetupを主催し、SmartNewsのアルゴリズムをアピールしてきた！

Wed, 19 Aug 2015 09:30:47 +0900

スマートニュースのデータサイエンス・マシンラーニングチームの中路といいます。機械学習や自然言語処理を使いながら、ニュース配信のアルゴリズムを開発しています。

私たちは、昨年2014年の10月にSmartNews米国版をリリースし、その後もプロダクトの改善に力を注いできました。その努力の甲斐もあり、翌2015年1月にはアメリカにおけるMonthly Active Userが100万人を超えるなど、日本だけでなくアメリカにおいても、多くの方々にSmartNewsを使って頂けるようになりました。また2015年の2月には、インターナショナル版をリリースし、世界各国の方々にSmartNewsをお使いいただけるようになりました。

とはいえ、まだまだこれから、です。もっと質の高いプロダクトを作り、さらに多くの方々に使い続けていただきたい。そのためには、やはり世界中の強力なメンバー、特に強力なエンジニアが必要です。

AWS Startup Tech MeetupでSparkについて話してきました

Mon, 10 Aug 2015 10:17:39 +0900

こんにちは。スマートニュースのYuyang Lanです。広告プロダクトのエンジニアをしています。

先日、AWSジャパンの篠原さん(@shinodogg)のお誘いでAWS Startup TechというMeetupに参加し、Apache SparkをEMRで運用してきた経験を簡単に紹介させていただきました。資料をSlideshareで公開しておりますので、ご興味のある方は是非お読みいただけると幸いです。

Developer 'Gotchas' in iOS 9

Mon, 13 Jul 2015 14:16:13 +0900

WWDC 2015 introduced iOS 9 to the developer community. As is typical for Apple, this precedes a Fall 2015 introduction, likely tied directly to the release of the next iPhone. On their current tick-tock release schedule, that will be the iPhone 6S just as the 3, 4, and 5 before it.While Apple certainly released a large number of new APIs and enhancements, as well as WatchOS and Swift 2 going open source, most current development work is done on the iOS platform and so I’d like to look at some iOS 9 announcements that may have unexpected impact on the development community.

iOS 9 Open Beta

As Apple did with OSX, they now follow suit on iOS. Traditionally Apple never released beta versions of software nor OS updates to the general public. In the past, a WWDC announcement of a new OS update would mean about a 5 month lead time to prepare applications for the release.

SaaSという巨人の肩の上に立つ

Mon, 06 Jul 2015 11:41:40 +0900

こんにちは。スマートニュース株式会社の坂本 (@takus) です。

6月26日に開催された「インフラ系 SaaS カジュアルトーク at IPROS」という勉強会で、「Why and How SmartNews uses SaaS?」というテーマでお話をしてきました。今回は、その内容についてご紹介いたします。

お話したこと

人間の心を読む機械学習　見かけの不合理性を超えたベイジアンな個人の行動規範とは

Mon, 15 Jun 2015 14:35:18 +0900

スマートニュース、データサイエンス・マシンラーニングチームの高橋力矢と申します。記事選定や広告ターゲティングといった、高度な機械学習アルゴリズムを必要とする仕事全般に携わっています。記事や広告を選択する際には、人の好みをアルゴリズムで予測する必要があります。本エントリーでは、機械学習と近年流行った行動経済学とをつなげる試みを通じて、人の好みや選択規範がどれだけ機械的に予測できるものかについて、ご紹介したいと思います。

San Diegoの風にふれて

Mission Bay

San Diegoは米国カリフォルニア州南部の、メキシコとの国境付近にあるリゾート地です。米国海軍の基地があることで有名ですが、La Jolla ShoreやMission Bayに代表される、マリンリゾート・マリンスポーツのメッカでもあります。加えて、University of California, San Diego (UCSD) という、認知科学と生物学では全米トップクラスの研究機関を擁しています。

Engineerのキャリアとしての”Product Manager”とは？日本のスターエンジニアが語る4つの視点

Fri, 05 Jun 2015 16:14:23 +0900

SmartNewsで広告プロダクト責任者をやっております、渡部と申します。昨日(6⁄4)に「世界に羽ばたく!! Product Manager Night」と

SmartNews がデータサイエンスにおいて大事にしているポイントとは - AWS Summit Tokyo 2015

Fri, 05 Jun 2015 11:56:05 +0900

はじめに

こんにちは。スマートニュース株式会社の小宮です。広告プロダクトのエンジニアをしています。先日の AWS Summit Tokyo 2015 で、同じく広告プロダクトのエンジニアである蘭とともに「SmartNews のデータサイエンティストの高速イテレーションを支える広告システム」というお話をしてきました。このエントリはそのご報告になります。今回の発表では「広告システム」と「iterative なデータサイエンスによる改善」をトピックとして、AWS の各種サービスを弊社の広告プロダクトでどのように活用しているのかについてお話させていただきました。特に、今回の発表では多く触れなかった「エモーショナル」な思い・考え方については、弊社の広告プロダクト責任者である渡部が事前に ~~広げた風呂敷~~ 投稿したエントリに書いておりますので、こちらも合わせてお読みいただけると幸いです。

SmartNewsの広告システムにおける、データサイエンスへの取り組み方 ~ 空気を読まない高速Iteration ~

Wed, 20 May 2015 11:50:20 +0900

SmartNewsで広告プロダクト責任者をやっております、渡部と申します。今回はSmartNews Adsのデータサイエンスへの取り組みをご紹介いたします

「身につけた技術は自分を裏切らない」SmartNews、GREE、CyberAgent、DeNAの重鎮が語ったSmartNews Tech Night Vol.2 レポート

Fri, 17 Apr 2015 10:35:09 +0900

スマートニュースで広告プロダクト責任者を努めております、渡部と申します。

2015.4.15にSmartNews Tech Night Vol.2を「クラウド事業者に就職する以外のインフラエンジニアの生きる道」と銘打ち開催いたしましたのでそのご報告です。

2015s on SmartNews Engineering Blog

Karma + Coveralls で行う webpack プロジェクトのテスト

はじめに

データサイエンスとニュースパブリッシングの融合を目指して -- SmartNews Tech Night Vol.3

幅広いユーザーをサポートするために

Itamae、Auto Scaling、CodeDeployを用いてdeployフローを刷新した話。そして板前をprovisioningした話。

はじめに

背景

PipelineDBをProductionに導入してみました。 How SmartNews Utilizes PipelineDB

Lambda で Cache Invalidate を自動化する

やりたいこと

やってみる

IAMロールの設定

シリコンバレーでMeetupを主催し、SmartNewsのアルゴリズムをアピールしてきた！

AWS Startup Tech MeetupでSparkについて話してきました

Developer 'Gotchas' in iOS 9

iOS 9 Open Beta

SaaSという巨人の肩の上に立つ

お話したこと

人間の心を読む機械学習 見かけの不合理性を超えたベイジアンな個人の行動規範とは

San Diegoの風にふれて

Mission Bay

Engineerのキャリアとしての”Product Manager”とは？ 日本のスターエンジニアが語る4つの視点

SmartNews がデータサイエンスにおいて大事にしているポイントとは - AWS Summit Tokyo 2015

はじめに

SmartNewsの広告システムにおける、データサイエンスへの取り組み方 ~ 空気を読まない高速Iteration ~

「身につけた技術は自分を裏切らない」SmartNews、GREE、CyberAgent、DeNAの重鎮が語ったSmartNews Tech Night Vol.2 レポート

人間の心を読む機械学習　見かけの不合理性を超えたベイジアンな個人の行動規範とは

Engineerのキャリアとしての”Product Manager”とは？日本のスターエンジニアが語る4つの視点