2016年の米大統領選の余波を受けて、筆者はオンライン上のフェイクニュースの惨害に対処できるプロダクトの開発に着手した。最初の仮説は単純だった。偽の主張や疑わしい主張を自動的にハイライトし、それに対して最高品質のコンテクストに基づく事実を提案する半自動のファクトチェックアルゴリズムを構築する。私たちの論旨は、おそらくユートピア的であるとしても、明確であった。テクノロジーの推進力により、人々が真実、事実、統計、データを求めて意思決定を行うようになれば、誇張ではなく、理性と合理性を備えたオンラインの議論を構築することができるはずだ。
5年にわたる努力の末、Factmata（ファクトマタ）は一定の成功を収めた。しかし、この分野が真に成長するためには、経済面から技術面に至るまで、まだ克服しなければならない多くの障壁がある。
鍵となる課題
私たちはすぐに、自動化されたファクトチェックが極めて難しい研究課題であることを認識した。最初の課題は、チェックする事実そのものを定義することであった。次に、特定の主張の正確性を評価するために、最新の事実データベースをどのように構築し、維持するかについて検討した。例えば、よく使われているWikidata（ウィキデータ）の知識ベースは明らかな選択肢であったが、急速に変化する出来事に関する主張をチェックするには更新が遅すぎる側面がある。
これらの要因の枠を超えたところに、何が「良い」かを評価できるビジネスを構築すること自体が本質的に複雑で微妙であるという問題がある。定義については議論が絶えない。例を挙げると、人々が「フェイクニュース」と呼ぶものがしばしば極端な党派間対立であることが判明し、人々が「偽情報」と称するものが実際には反対意見による見解であったりする。
したがって、ビジネスの観点からは、何を「悪い」（有害、不道徳、脅威的または憎悪的）と判断するかということの方がはるかに容易であると私たちは結論づけた。具体的には「グレーエリア」の有害なテキストを検出することにした。これは、プラットフォームから削除すべきかどうかわからないが、追加のコンテクストが必要なコンテンツだ。これを達成するために、コメント、投稿、ニュース記事の有害性を、党派間対立性、論争性、客観性、憎悪性など15のシグナルのレベルで評価するAPIを構築した。
そして、関連する企業の問題についてオンラインで展開されるすべての主張を追跡することに価値があることを認識した。そのため当社のAPIを超えて、ブランドのプロダクト、政府の方針、新型コロナウイルス感染症のワクチンなど、あらゆるトピックで展開する噂や「ナラティブ」を追跡するSaaSプラットフォームを構築した。
複雑に聞こえるかもしれない。実際にそうだからだ。私たちが学んだ最大の教訓の1つは、この領域において100万ドル（約1億1400万円）のシード資金がいかに少ないかということだった。有効性が確認されたヘイトスピーチや虚偽の主張に関するデータを訓練することは通常のラベリング作業とは異なる。それには、主題に関する専門知識と正確な検討が必要であり、いずれも安価なものではない。
実際、複数のブラウザ拡張機能、ウェブサイトのデモ、データラベリングプラットフォーム、ソーシャルニュースコメントプラットフォーム、AI出力のリアルタイムダッシュボードなど、必要としていたツールを構築することは、複数の新しいスタートアップを同時に構築するようなものだった。
さらに事態を複雑にしていたのは、プロダクトと市場の適合性を見つけるのが非常に困難な道のりだったことだ。長年の構築の後、Factmataはブランドの安全性とブランドの評判にシフトした。当社のテクノロジーは、広告インベントリのクリーンアップに目を向けているオンライン広告プラットフォーム、評判管理と最適化を求めているブランド、コンテンツモデレーションを必要としている小規模プラットフォームに提供されている。このビジネスモデルに到達するまでには長い時間がかかったが、2020年ようやく複数の顧客からトライアルや契約の申し込みが毎月寄せられるようになった。2022年半ばまでに経常収益100万ドルを達成するという目標に向かって前進している。
やるべきこと
私たちが辿った道のりは、メディア領域で社会的にインパクトのあるビジネスを構築する上で、多くの障壁があることを示している。バイラル性と注目度がオンライン広告、検索エンジン、ニュースフィードの指標である限り、変化は難しいだろう。また、小規模な企業では、それを単独で行うことは難しい。規制面と財政面の両方の支援が必要になる。
規制当局は、強力な法律の制定に踏み切る必要がある。Facebook（フェイスブック）とTwitter（ツイッター）は大きな前進を遂げたが、オンライン広告システムは大幅に後れを取っており、新興プラットフォームには異なる形での進化を促すインセンティブがない。今のところ、企業が違法ではない発言をプラットフォームから排除するようなインセンティブはない。評判上のダメージやユーザーの離脱を恐れるだけでは十分ではないのだ。言論の自由を最も熱心に支持する向きでさえ、筆者も同様であるが、金銭的なインセンティブや禁止を設ける必要性を認識している。そうすることで、プラットフォームは実際に行動を起こし、有害なコンテンツを減らし、エコシステムの健全性を促進するためにお金を使い始めるようになるだろう。
代替案にはどのようなものがあるだろうか？悪質なコンテンツは常に存在するが、より良質なコンテンツを促進するシステムを作り出すことは可能である。
欠点はあるかもしれないが、大きな役割が期待できるのはアルゴリズムだ。オンラインコンテンツの「善良さ」すなわち品質を自動的に評価するポテンシャルを有している。こうした「品質スコア」は、広告ベースとはまったく異なる、社会に有益なコンテンツのプロモーション（およびその支払い）を行う新しいソーシャルメディアプラットフォームを生み出すための基盤となる可能性を秘めている。
問題のスコープを考えると、これらの新しいスコアリングアルゴリズムを構築するには膨大なリソースが必要だ。最も革新的なスタートアップでさえ、数億ドル（数百億円）とは言わないまでも、数千万ドル（数十億円）の資金調達がなければ厳しいだろう。複数の企業や非営利団体が参加して、ユーザーのニュースフィードに埋め込むことのできる多様なバージョンを提供する必要がある。
政府が支援できる方法はいくつかある。まず「品質」に関するルールを定義する必要があるだろう。この問題を解決しようとしている企業が、独自の方針を打ち出すことは期待できない。
また政府も資金を提供すべきである。政府が資金援助をすることで、これらの企業は達成すべき目標が骨抜きにされるのを回避できる。さらに、企業が自社のテクノロジーを世間の目に触れやすいものにするよう促し、欠陥やバイアスに関する透明性を生み出すことにもつながる。これらのテクノロジーは、無料で利用可能な形で一般向けにリリースされるよう奨励され、最終的には公共の利益のために提供される可能性もある。
最後に、私たちは新興テクノロジーを取り入れていく必要がある。コンテンツモデレーションを効果的かつ持続的に行うために必要な深層テクノロジーに真剣に投資するという点で、プラットフォームは積極的な歩みを見せてきた。広告業界も、4年が経過した頃から、FactmataやGlobal Disinformation Index（グローバル・ディスインフォメーション・インデックス）、Newsguard（ニュースガード）などの新しいブランド安全アルゴリズムの採用を進めている。
当初は懐疑的であったが、筆者は暗号資産とトークンの経済学のポテンシャルについても楽観的に見ている。資金調達の新たな方法を提示し、質の高いファクトチェック型メディアの普及、大規模な配信に貢献することが考えられる。例えば、トークン化されたシステムの「エキスパート」により、ラベリングに多額の先行投資を必要とする企業の手を借りることなく、主張をファクトチェックし、AIコンテンツモデレーションシステムのデータラベリングを効率的に拡張することが可能になるかもしれない。
ファクトベースの世界の技術的な構成要素として、Factmataに掲げた当初のビジョンが実現するかどうかはわからない。しかし、私たちがそれに挑戦したことを誇りに思うとともに、現在進行中の誤報や偽情報との戦いにおいて、他の人々がより健全な方向性を示すことに、私たちの経験が役立つことを期待している。
編集部注：本稿の執筆者Dhruv Ghulati（ドルヴ・グラティ）氏は、オンラインの誤情報に取り組む最初のグローバルスタートアップの1つFactmataの創設者で、自動ファクトチェックを研究する最初の機械学習科学者の1人。London School of EconomicsとUniversity College Londonで経済学とコンピューターサイエンスの学位を取得している。
画像クレジット：sorbetto / Getty Images（Image has been modified）
［原文へ］
（文：Dhruv Ghulati、翻訳：Dragonfly）