Machine Learning Night に参加してきました
[更新] - 12/11 PFN @dtaniwakiさんの資料を追加しました
概要
Machine Learning NIGHTに参加してきたので備忘録です。 ザーッと書いたので誤字等あれば修正していきます。 また、資料が追加されたら順次追加したいと思っています。 machine-learning-pitch.connpass.com
「なんじゃこのおもしろそうなイベントは!?」ということですぐに申し込んだ記憶があります。
あのPFNのオフィスで開催されるということに前日に気づきドキドキしました。
会議室のあるスペースしか見れてないですが、ポップな色づかいがにじみ出てオフィススペースも入ってみたいなぁと思いました。
LT
LTが2本ありました
行動ログデータからのユーザーアンケート予測モデルを作り、ユーザーの嗜好分類をする
自分メモ
- 医師向けのQAサイト
- 推薦システム的課題としてのコールドスタート
- 1つのプロダクトが成長したら他のプロダクトも成長するような思想がある
- プロダクト名が偉人の名前
- 情報が素な部分をembeddingして密な形にする
- MF
- 言語的な近さではなく疾患などの近さがほしい
- 推薦システムの成長とタグ付の成長が相互作用としてある
アンケートと組み合わせて説明可能なログ分析を行う
こちらも
自分メモ
- アンケートの結果をレコメンドエンジンやデザインの出し分けに使えるのではという未来がある
- 製薬会社などのクライアント企業にも活用できるのではということ
- 行動ログ分析
- 協調フィルタリング
- ネットワーク解析(興味ﾌﾞｶｲ!)
- 行動ログからアンケートの回答を予測するモデルを作れれば、回答してない人の部分も埋められるのでは?
- ある程度予測できる!
- バッチリ予測できるわけではないが傾向がつかめる程度は見れる
MerpayにおけるML活用のポイント
自分メモ
メルペイについて
- 2017年設立
- いろんなところで使える
- 信用を創造して、なめらかな社会を創る
MLチームについて
- Data platform、 DataAnalystがMachine learningチーム以外にある
- マイクロサービスを創るまでが仕事
- 8名のチーム
- 課題発見からモデリング、マイクロサービスの提供までが役割
- 各プロジェクトは2~4名で
- GCP縛りがある
- APIはGoで
主なプロジェクト
- メルペイスマート払い
- 過去の利用実績をもとに与信枠を付与して後払いで払える
- ひとりひとりの与信枠をMLで予測している(kaggleっぽい!)
- AML(マネーロンダリング対策)
- 不正行為や疑わしい取引の監視をしている
- ルールベースの仕組みの他にAIでも検知している
ビジネス貢献のために気をつけていること
施策を円滑に進行するために
- チームの3カ年のロードマップを作成する
- MLチームなにやってるか分からないって言われないようにしている
ソフトウェアエンジニアとして課題を解く
- 実務で使われるMLシステムは、精度のよいもでるだけでは不十分
- tensorflow validationを使ってvalidationを行ってる
- けっこうDBのスキームが変わるから↑
- その他大切にしていること
- ビジネスインパクトが大きい解くべき課題にフォーカスする
- おねだりを安易に受けないようにする
- ショートサイクルで漸進的に磨き込みをかける。1st versionを1~3ヶ月以内にリリースする
- 問題に適した正しい技術選定を重視する
- 非効率なルールを排除する
Preferred Networksの顧客向けプロダクト開発
www.slideshare.net
自分メモ
PFNの研究開発
- 民間企業計算資源として国内最大級(すげぇ...)
- 多様な研究領域がある
- 高い技術力ベースに企業との共同研究が主体だった
- 今年からプロダクト開発チームの発足
- 得意とする分野は研究
- 研究、開発 -> 事業化を担っている
プロダクtokaihatuti-munituite
プロダクト開発チームについて
全体インフラ構成
- AWSに乗せている
- 本番環境は顧客ごとに用意している
- terraform & kustomizeで環境開発を容易にできるようにしている
- jupyterからアプリケーションに移植するためにpython推論サーバーを作っている
- フロントはReactとtsで、バックエンドはGo
sansan紹介
出会いからイノベーションを生み出すをミッションにしている- 名刺のやりとりをフックできればビジネスシーンのかなりの部分をフックできる
- 出会いのレコメンデーションを作っている
- ブログをいつも楽しく読ませてもらってます
パネルディスカッション
どのように事業化に結びつけてきたの?
- PFN
- 研究が先にある
- いろんな企業と研究して結果が出たら、企業の人と事業化を考える
- merpay
- サービス開始時からデータがたまる環境があった
- ビジネスのコアを提案するというのを機械学習エンジニアから出すことに意識している
- 他の人からの提案はちゃんと断る
- m3
- 分析しっかりしてルールベースで行ってからアルゴリズムを導入する
研究からと事業からの一長一短あるけど考え方の特徴とは?
- merpay
- MLエンジニアは新しいもの好きなので勝手にR&D始めるのである程度「事業」という縛りを強くしても良い
- 今の技術で解決できないものも解決したいというモチベーションはすごくある
- PFN
- 研究から事業にならないことがないこともない
- 相手企業にはやりたいことがあって始めるので闇雲に始めるわけではない
merpay -> PFN クライアントが問題設定して解けねーよってときどうするのか
- PFN
- プロダクト開発チームが早い段階で入って、視野を提供することで方向性を修正する
ルールベースからだと地に足ついたものになる?
- m3
- 10月入社の人がもう開発、販売までできてるのは速い、地に足ついてる
- もっといろんなことしたいけどまずは目の前の課題を一つづつ
プロダクションに組み込むときにどこまでカバーする?
- m3
- やらなきゃいけない
- 障害とかも対応する
- ML部分は落ちやすいけどフロント側でけっこう吸収してもらう
- merpay
- バッチシステムの開発までする
- オンラインではなく、バッチシステムにして運用負荷を下げている
- PFN
- 運用することがミッションではなく、研究の自動化とその研究が世の中の課題とマッチすること
- 運用については今後
プロダクションコードまでMLエンジニアはやりたがっているの?
- PFN
- ちょっと特殊で研究系のエンジニアは本当に研究一点突破で開発はしない
- 開発チームがそれをカバー
- merpay
- モデルだけやりたいって人はいない(現在8名)
- 得手不得手がある部分はチーム構成でカバー
- 会社ではビジネスコミットしつつ大学院行ってる人もいる
- m3
- プロダクションコードまでやってもらうよって言って採用している
- 得手不得手ある中でみんながんばっている
- ML側ならdocker、CI、CDまで作ってdockerfileをSREチーム渡すようにしている
ML系の周辺サービス、ツールが充実してきたがどう?
- merpay
- コンテナ技術の発達とマネージドサービスの進歩でやりやすくなってきた
- m3
- PFN
- sagemakerとかはまだ使ってない
- モデルをS3にアップしてそれをロードして使っている
今解決したいけど、難易度が高い課題
- PFN
- 推論サーバーをどう作るか
- 研究者と開発側が完全に別れているのでjupyter -> プロダクションへの変換を解決したい
- マルチスレッドとかを研究者側が考えてなかったりして、エラーが起きるとかが生じている
- merpay
- 与信モデルなどで完全に自動化とかはしていない
- 人間ロジックが少し入っている部分との融合
- m3
- プロダクト開発
- ビジネス上の発見
まとめ
みなさんがMLやっていて感じる辛みを共感することができたり、感じている課題感を聞けてすごくためになりました。 懇親会もすごく楽しかったです。 懇親会でかかわってくださった方本当に温かくて感謝です。 またぜひ参加したいとおもいます！#mlpp
