機械学習×消費！ マネーフォワードチーム戦コンペティション開催レポート
2020年2月8日〜9日東京都港区の株式会社マネーフォワード本社にて、「機械学習の力で『お金をもっと前へ』マネーフォワード主催・オフラインコンペティション」が開催されました。本イベントは、与えられた機械学習の課題に対してモデル精度を競い合うチーム戦のコンペティション。22名の学生さんたちが3人1チームの計7チームに別れてそれぞれのスキルを最大限に発揮ししのぎを削りました。
課題内容
数値およびテキストデータを含むテーブルデータを用いて2値分類を行うコンペティションです。
同社が業務で使用しているデータをもとに生成された、同じ特徴を持つダミーデータを提供していただき、実業務の雰囲気を感じ取れる課題となっています。
モデル精度の評価基準にはF値が用いられました。評価に使用するテストデータはPublicとPrivateの二つに分けられています。開催中のリーダーボードではPublicデータを用いて算出したスコアが掲示され、最終評価はPrivateデータでのスコアで行われます。
メンター陣について
同社の研究機関「Money Forward Lab」にて、データ整備および予測モデル開発に従事されている久井裕貴さんや、前回のコンペティションでは自身で作成したモデルの解説をしてくださったマネーフォワードグループのMF KESSAI株式会社の山内健太さんをはじめ4名のメンターさんが学生さんをサポートしてくださいました。
ワークの様子と結果
今回、データ形式が複雑でどのチームも前処理に時間を取られていた様子でした。1日目から、メンバー間で役割分担し、進捗確認をするチームや席を移動してメンバーとディスカッションを始めるチームなど、チーム戦ならではの動きが見られました。ワーク開始からチーム6が1位の状態が長く続いていましたが、1日目のワーク終了間際にチーム3が1位になり、先が読めない状況に。
2日目は各自自宅でのワークの成果があったのか、冒頭から順位に動きがあり、昨日3位だったチーム7が1位になりました。どのチームもスコアを大幅更新し、順位が激しく入れ替わっていきます。ワーク終盤では1位のスコアが並ぶことも。どのチームも時間ギリギリまで作業し続けており、リーダーボードも次々更新されました。
2日間のワークの末、最終結果は下記の通りになりました。
準優勝はチーム6
優勝はチーム3
チーム3の3名のインタビューはこちらからご覧いただけます。
メンター久井さんのインタビューも後日公開予定です。
チーム3は、自然言語処理によく使われるBERTを使ったアプローチを行ったとのことで、周りのチームからは驚きの声が上がっていました。
惜しくも準優勝となったチーム6は、最終Submitで別の予測結果を提出していれば1位になっていたとのことです。非常に接戦でレベルの高い戦いとなりました。
総評・懇親会
最終結果を踏まえて、メンターさんからの総評がありました。機械学習の手法に関する質問はほとんどなく、データに関する質問が多かったとメンターさんからのお言葉があり、参加者の皆様のスキルレベルの高さが伺えました。また、実際にアプリをインストールして操作し、ユーザーの視点で考えているチームがあり、マーケティングにおいて重要な視点なので今後もそういった視点を大切にして欲しいというお話もいただきました。
メンター山内さんは「皆さんとは違ったアプローチを紹介できれば」とのことで、同じ課題にディープラーニングで挑戦していました。特定のデータ履歴を画像に変換し、26枚のチャネルを合わせて検証したとのことです。前処理に非常に時間がかかったことや、更に精度を上げるにはどうすれば良かったかなどもお話いただき、参加学生さんたちも熱心に耳を傾けていました。最後に、データサイエンティストの実際の業務について、メンターさんとの会話のなかで今回の課題に対するデータの切り取り方や、実際にどのようなデータを扱っていてどんなことに困っているのかなど少しでも参考になれば嬉しいとのことでした。
懇親会では参加者同士の交流のほか、メンターさんに実際の業務についてお話を聞いている学生さんもいました。
マネーフォワード社の実データであることやそのデータを実際に業務で扱っているメンターさんがいたのが良かったという学生さんの声もあり、今後に活かせるコンペティションになったのではないでしょうか。
まとめ
データの前処理に時間がかかり、1日目はなかなか結果を出せないチームもありましたが、2日目にはリーダーボードの更新が頻繁に行われており、チーム内で補完し合いながらワークを進められた様子でした。ワーク中にはメンターさんが各チームを周って積極的にアドバイスしてくださっていたこともあり、学生さんからは「メンターさんのアドバイスが参考になった」「データに関する質問に的確に答えていただけて助かった」などの意見を多数いただきました。
今回はチーム戦ということで、「チームで分担しながら進めることで自分に足りていないものがわかったので今後に活かしていきたい」という意欲的な声がありました。メンター山内さんからの総評でも少しお話があったのですが、データサイエンティストとして企業で働く場合、チーム内で分担して業務に取り組むことが多いとのことなので、実践的なスキルを身に付ける機会になっていればと思います。
マネーフォワード社のコンペティションは今回で2回目の開催ですが、前回と比較して高い難易度かつ個人戦からチーム戦になったことで、また異なる経験の場となったのではないでしょうか。
2019年9月マネーフォワード社コンペティション開催レポート
Peakersでは、今後も様々なハッカソン・MeetUp・インターンシップを開催予定です。ここでしか体験できない学びを手に入れたい学生の皆さん、ご参加をお待ちしております。
