【お知らせ】2023年10月1日にLINE Fukuoka株式会社からLINEヤフーコミュニケーションズ株式会社へ社名を変更しました。9月30日以前の記事は、旧社名の情報を元に作成しています。
こんにちは、LINE Fukuoka Press編集部の酒井です。
LINE Fukuokaでは、ユーザーのみなさまに安心安全なサービスを提供するため、LINEのタイムラインやLINE LIVE、LINEマンガなどユーザー投稿を含むサービスにおいて、不適切な投稿がないかを確認するモニタリング業務を行っています。
モニタリング業務は、一般的に、運用パフォーマンスの良し悪しを判断しづらいとされています。
業務の性質上機密性が高く、またモニタリングという業務自体の歴史が浅いことから、世の中に公開されている参考事例が少ないためです。
業務の性質上機密性が高く、またモニタリングという業務自体の歴史が浅いことから、世の中に公開されている参考事例が少ないためです。
今回は、そんなモニタリング業務において、
● 運用パフォーマンスの評価基準を設定し
● 国内外のメンバーを巻き込み
● AIや自動化の活用により、他社製品と比較して、「（LINEサービス内の健全性を保つ用途においては） 最高水準のモニタリングツール」を開発し
● 結果、 「人の目によるモニタリングを最低限にしながら、サービスの健全性が保てる状態」を実現したプロジェクトをご紹介します。
前例のない中での基準設定や考え方の異なるメンバーの巻き込みなど、決して易しくはなかったはずのプロジェクト。
なぜやり遂げることができたのか？
プロジェクトメンバーを代表して、3人に率直な想いを聞きました。
プロジェクトメンバーを代表して、3人に率直な想いを聞きました。
※インタビューは、新型コロナウイルス感染拡大による緊急事態宣言発令前に行ったものです。
※2019年度の社内表彰LFK Value Awardにて、最高賞を受賞したプロジェクトです。
プロジェクト
JP → Globalへ。フィルタリング最適化による「全LINEサービス健全性UPプロジェクト」
～ 未来の監視業務＝Data×AI×自動化×統計学+Human ～
メンバーと役割
まず、このプロジェクトが動き出す前はどのような状態だったのでしょうか？
プロジェクト始動前は何をどう改善するかを提案できなかった
稲員：LINE Fukuokaでモニタリング組織ができて6年。
処理件数の達成率など、運用パフォーマンス自体は数値で成果を示すことはできていましたが、業務で使用しているフィルタリングツールの性能を数値で示すことができていませんでした。
基本、運営業務はツールと運用担当者の二人三脚だと思います。どちらも、感覚的には優れていると思っていたのですが、片方を数値として示すことができていない中では、より良い仕組みを作ろうにも、何をどう改善するかを提案できません。
五里霧中に近い状況でした。
西田：モニタリングを行う担当者間でも、フィルターから漏れてしまった投稿があるのかないのか、あったとしたら、それがどの程度なのか。本当に今の状態が適切なのか。
明確に数値で示せていないことをどうにかしたいと考えながらも、日々の業務に追われているところに、稲員さんをオーナーとしてプロジェクトが立ち上がりました。
プロジェクトの中で、稲員さんが最初に設定したのは「明確な基準」でした。
業務自体の歴史が浅く、機密性の高さから参考事例が世の中に公開されること自体が少ない分野だったので、どのような状態を最適とするのか。基準の設定にも正解はなく、問を探すところから始まったそう。
実際にモニタリング業務を行なう現場の声を聞いたり、世の中にある仕事の中から生かせると思うものを探したり。「ひらめきから決まることはひとつもなかった」と振り返ります。
基準設定はシンプルであることを大切に
稲員：自分たちでは変えようのない数字だけを追っても、やりようがないので、少なくとも僕たちでダイレクトに数値を改善できるものを基準にしたいと考えました。でも、関係者みんなで達成していかないといけないものなので、一部の人しか分からないような複雑なものにはしたくなかったんです。
業務の経験がない人であっても、説明すれば理解してもらえるくらいシンプルな方が、その数字が示す意味を理解した上で、一丸となって追っていけると思う。
それらの条件に合致したのが「Recall」と「Monitoring Rate」でした。
西田：業務にかけられるコストも決まっている中では、少ない労力で大きなメリットを得る運用体制をつくらないといけない。
そういった背景もあって、評価指標としてRecallやMonitoring Rateを「選ばざるを得ない」というのも理解できた。だから、異論はありませんでした。
基準の設定から始まった福岡発のプロジェクトは徐々にその渦を大きくし、プロジェクト始動から2ヶ月後、複数回の調整とフィードバックを繰り返しながら、海外サービスでもフィルター性能調査が行われます。
そこで、世界のAI市場を牽引する企業が開発するAIと比較しても、LINEサービスにおいては圧倒的に最適であることを数値で証明できるまでになります。
このとき、西田さん、木下さんのチームが学習データ提供やオペレーション目線でのフィルター性能評価を担当。
稲員さん、沼井さんは、AI開発やテキスト・画像解析を行なう韓国・大連のグループ企業の開発者と連携して、数種類に及ぶフィルターの機能調整を行っていきました。
プロジェクトでは、「海外拠点との連携」は欠かせないものでした。
基準に設定したRecall・Monitoring Rateの数値目標達成には、韓国・大連のグループ企業で独自に開発されているフィルターやAIの機能調整が必要であったこと。
そして、日本国外でも利用されているLINEサービスにおいて、海外のモニタリング組織にもそのナレッジを共有することが必須だったからです。
稲員さんは「LINEサービスは世界で使われているものだから、国外へのナレッジ共有は自然な流れだった」と話します。
海外拠点を含む複数の関係者で進むプロジェクトで難しさはなかったのでしょうか？
LINEのサービスは世界のもの
稲員：難しかったことしかないです。笑海外拠点との連携に限った話ではなく、何かがスムーズに行ったことってあんまり覚えていなくて、、、 目指すべき姿は一緒のはずなのに、それぞれの置かれている立ち位置や文化、環境の違いで、なかなかひとつにまとまるのも簡単なことではなかったと思います。
すぐに「サービスを良くするために一丸となって」という空気感になったわけではありません。
開発者のみなさんとは、どう改修するかだけではなく、 なぜその改修が必要なのか。何を基準としてどこを目指しているのか、目指す方向から理解していただいた上で、一緒にやっていただきました。
同じ方向を向けたことが良かったかなと思います。
木下：これまでは、拠点ごとにそれぞれが工夫とノウハウを持っている状態で、お互いに共有することもありませんでした。
文化が違うので、優先すべきことの順位も違っていましたが、数字を示すことでお互いに共通のゴールができます。ワンチームになるために、指標は重要だったなと思います。
西田：海外拠点と連携する際の共通言語は数字でした。
稲員：モニタリング業務の海外展開についても、日本だけで評価が良ければいいものではなくて、LINEのサービスは世界のものという認識が最初からあったので、当然だと思います。
西田：これまで培ってきたやり方をグローバルに広めることができたら、もっとサービスは良くなるだろうし、面白くなるよねと思っていました。自信もありました。
もしかすると最初は、海外拠点でモニタリング業務をされている方に「何？この人たち？」と思われていたかもしれません。笑
稲員：最初のうちは、そんな思いもあったかもしれません。
数値で見える部分をロジカルにお伝えするのはもちろん。僕たちが考えている、リスクやモニタリング業務の意義みたいなところからお話して、理解を得ていきました。
まだまだ課題もありますけど、ちょっとずつちょっとずつお互いのノウハウを取り入れながら、より良いサービスを目指して協働していっている状況です。
海外拠点との話をする中で、「福岡のメンバー間でも揉めることはあったんですよ」と明るく話す西田さん。
それでもやりきれたのは「安心安全なサービスの提供」というモニタリング組織で掲げてきたビジョンとプライドがあったからとのこと。
安心安全なサービスの提供を目指して進み続けるプライド
稲員：衝突は当たり前だし仕方ないものなのかなと思っています。何もかもすんなり行くことのほうが少ないです。
このプロジェクトは、何か一つ工夫したから全部がうまくいったっていうものではありません。
ぶつかったり、失敗したり、本当にいろいろある中でも、同じビジョンでゴールを目指して前を向いて進みつづけた結果だと思います。
個人的に大切にしていることとして。
僕は、プロジェクトのオーナーではありましたが、メンバーそれぞれが持っている知識の分野も得意なことも違うので、どちらが上でどちらが下という意識ではなく得意な方が担当するだけのことだと考えていました。
だから、必要以上に口を出さずに、任せました。
西田：僕は結構、言いたいことは言わせてもらっていますね。
意見が対立してバチバチなってしまうこともあるんですけど、その先に見ているゴールは一緒だったので、結果を出すまでやりきれたんだと思います。
木下：組織の立ち上げ当時から、モニタリング業務には「安心安全なサービスの提供」っていうビジョンがあって、そこに向けてどうやっていくかを考えてきました。そこから、ずれることはないのかなと思います。
モニタリング業務にプライドを持っているからこそ、ビジョンに対する意思も強かったです。
悪い意味では頑固。でも、それが結果につながったのかもしれません。
稲員：モニタリング業務にあたる一人ひとりは、投稿されたものに目を通す「作業」をしているわけではなく、その向こう側にある「ユーザーのみなさんに安心してサービスを利用していただくこと」に向き合っています。
ナレッジが世の中に出回っているものではないので、モニタリング業務をはじめた当初から自分たちで試行錯誤を繰り返さなくてはならず、つねに越えるべきハードルは高かった。
その分、みんなタフになったと言うか。誇りを持ってやってこれたと思っています。
「AI」や「海外拠点と連携」という言葉から、ついプロジェクトの規模に注目してしまいますが、あくまでも細かなことをひとつひとつ積み重ねているとみなさん口を揃えて語ります。
最後に、これからのモニタリングについて聞いてみました。
サービス活性につながるモニタリングを
西田：動画配信のモニタリングの仕組みを作っていきたいなと思っています。動画配信サービスのモニタリングスタンダードみたいな感じですかね。
これから5Gが一般的になって、動画コンテンツがより身近になってくると思うんですよね。
世界的に見てもリアルタイム動画配信のモニタリングをしている組織はあまり多くないので、そういった仕組みを作っていきたいです。
木下：僕は、複数のサービスでモニタリングを担当しています。
その視点でいうと、モニタリングで違反投稿をユーザーの目に触れないようにすることを目的にするのではなく、良い投稿を見つけていけるようなものにしていきたいです。
モニタリングのオペレーターは、ユーザーのすぐそばにいるので、生の声に触れている状態。
そういった声をサービスの活性化につなげていくのが、一番健康的なモニタリングの存在なのかなと思います。
そもそも違反投稿が発生しない環境をつくるっていうのは、大きなミッションだと思っています。
稲員：木下さんが言っていたことと重なる部分があるのですが、そもそも違反が発生しない仕組みづくりや、これまでのナレッジをいかして、どれだけサービスの成長に貢献できるかを目指していきたいです。
運営側からの一方通行ではなく、プラットフォームとしてできる工夫をしながら、ユーザーと一緒にLINEのクリーンな世界観を作っていく。
どんなふうにチャレンジしていけるかが次のフェーズかなと思っています。
LINEサービスを裏側で支えるモニタリング。
より良いサービス提供を目指し、プロジェクトはいまなお前進を続けています。
