誤報対策に取り組むFacebookの戦いが終わりを告げることはないだろうが、だからといって同社は諦めたわけではない。それどころが、自動化されたシステムに絶え間なく改善を加えているおかげで、ヘイトスピーチや誤報をある程度は減少させることができている。CTOのMike Schroepfer（マイク・シュロープファー）氏は米国時間11月20日、一連の記事の中でこれら改善点の最新情報を公表した。
今回の変更は、スパムや誤解を招くニュース、人種差別的中傷などを未然に防ぐために同社が利用しているAI関連システムに対するものだ。Facebookのコンテンツモデレーターさえもが目にする前の時点で阻止してしまうというものである。
改善点として、Facebookがヘイトスピーチなどを検出するために採用している言語分析システムが挙げられている。シュロープファー氏の説明によると、これは同社が細心の注意を払うべき分野の1つだという。広告スペースで誤検知（何か詐欺っぽいというような）された場合のリスクは低いが、ヘイトスピーチと誤解されて記事を削除される場合の誤検知は深刻な問題だ。そのため決断を下すときにはしっかりした確信を持つことが重要である。
残念ながら、ヘイトスピーチやそれに近いコンテンツは非常に微妙なものである。議論の余地なく人種差別主義者と思われるようなものでさえ、たった一言の言葉で意味が反転したり、ひっくり返ったりすることがある。言語の複雑さと多様性を反映した機械学習システムを構築するというのは、想像を絶するほどの計算資源を必要とするタスクである。
「linear」+「transformer」からの造語であるLinformerは、1日に何十億もの投稿をスキャンすることで膨れ上がるリソースコストを管理するためにFacebookが作った新しいツールだ。正確に計算するのではなく、トランスフォーマーベースの言語モデルのセントラル・アテンション・メカニズムを概算するものだが、性能におけるトレードオフはほとんどない（この意味をすべて理解できる読者がいたら拍手を送りたい）。
これは言語理解の向上につながるが、計算コストはわずかに高くなるだけで、例えば、最初のウェーブに悪いモデルを使用して、疑わしいアイテムに対してのみ高価なモデルを実行する必要はない。
同社の研究者らは、画像内のテキスト、画像、テキストの相互作用を理解するという、やや形のはっきりしない問題にも取り組んでいる。テレビやウェブサイトの偽スクリーンショットやミームなど、投稿によく見られるものはコンピューターにとって驚くほど理解しにくいものだが、膨大な情報源となっている。また、視覚的な詳細がほとんど同じでも、たった1つ言葉が変更されただけで意味を完全に反転させてしまうこともある。
外観がわずかに異なる、同じ誤情報の2つのケースの例。左側を認識したシステムが右側を認識した。画像クレジット：Facebook
Facebookは無限大の種類の誤情報を検出できるようになってきているとシュロープファー氏は説明する。まだ困難さを極めてはいるものの、例えばCOVID-19の誤報画像、マスクが癌を引き起こすといったような偽ニュース報道でそれを掲載している人々が、たとえデザインを操作したり変えたりしても検出することができ、そういった意味で大きな進歩を遂げているという。
これらのモデルの展開と維持も複雑で、オフラインでのプロトタイピング、デプロイメント、オンラインテスト、そしてそのフィードバックを新しいプロトタイプに反映させるという作業を絶えず繰り返す必要がある。レインフォースメント・インテグリティ・オプティマイザー（RIO）には新しいアプローチを採用しており、ライブコンテンツに対する新しいモデルの有効性を監視し、その情報を週間レポートなどではなくトレーニングシステムに常に伝えている。
Facebookが成功していると言えるかどうかを判断するのは容易ではない。しかし、同社が発表した統計によると、ヘイトスピーチや誤報が削除される割合は増加しており、前四半期に比べるとヘイトスピーチや暴力的な画像、児童搾取コンテンツが何百万件も多く削除されているという朗報が伝えられている。
Facebookがどのようにして成功や失敗をより正確に追跡することができるのかについてシュロープファー氏に尋ねてみた。数字の増加は、削除のためのメカニズムが改善されたか、あるいは単にそのコンテンツが同じ速度で大量に削除されたためかもしれないからだ。
「ベースラインは常に変化するため、これらすべてのメトリックを同時に確認する必要があります。長い目で見たとき、念頭におくべきものはまん延率です」と同氏は説明し、あるタイプのコンテンツが先制して削除されたかどうかではなく、実際にユーザーが遭遇する頻度について言及した。「誰も見ることのないコンテンツを1000個削除しても、あまり有効とはいえません。バイラルになろうとしていたコンテンツを1つ削除すれば、それは大成功です」。
Facebookはヘイトスピーチのまん延率について四半期ごとの「コミュニティ標準実施報告書」に含め、次のように定義している。
まん延率とは、当社のプラットフォーム上で違反コンテンツを目にする回数の割合を推定したものです。ヘイトスピーチのまん延率は、Facebook上で見られているコンテンツのサンプルを選択し、その中でどれだけのコンテンツが当社のヘイトスピーチポリシーに違反しているかをラベル付けすることで算出します。ヘイトスピーチは言語や文化的背景に大きく関係するので、私たちはこれらの代表的なサンプルを異なる言語や地域のレビュアーに送っています。
この新しい統計の最初の測定値は次のようなものだ。
2020年7月から2020年9月までは0.10%から0.11%となりました。つまり、Facebookのコンテンツ閲覧数1万件のうち、10から11件がヘイトスピーチだったということです。
この数字が間違っていなければ、現在Facebook上にある1000のコンテンツのうち1つがヘイトスピーチに該当することを意味し、これは少し確率的に高いように感じられる（Facebookにこの数字をもう少し明確にするよう求めた）。
この数字の完全性を問う必要もあるだろう。エチオピアのような戦争で荒廃した地域からの報告によると、ヘイトスピーチがまん延しているにも関わらず十分に検出や報告がなされず、取り除かれていないことが多いと伝えられている。一方、Facebook上の白人至上主義者や民族主義者などによる爆発的なコンテンツは適切に記録されている。
シュロープファー氏は、自身の役割は物事の「実装」側にあり、ソーシャルネットワークの巨大なオペレーションにおけるポリシーやスタッフの配置、その他の重要な部分は多かれ少なかれ彼の管轄外であることを強調している。率直に言って、世界で最も影響力のある企業に属するCTOが言う言葉としてはガッカリなものである。この問題に深刻に取り組んでいるはずなのだから尚更だ。しかし、同氏とそのチームが上記のような技術的な救済策を追求することにそれほど熱心でなかったなら、Facebookは不意打ちで撃墜されたというより、ヘイトとフェイクで完全に埋もれてしまっているのではないかとも思う。
関連記事：YouTubeが投稿前にユーザーに再考を促す機能を導入、悪意的なコメント対策で
カテゴリー：人工知能・AI
タグ：Facebook ヘイトスピーチ
[原文へ]
（翻訳：Dragonfly）