編集部注：本稿はJinyan Zang氏、Latanya Sweeney氏、Max Weiss氏による寄稿記事である。Zang氏はハーバード大学のData Privacy Labの研究者、Sweeney氏はハーバード大学で「政府とテクノロジー」を専門にする教授、Weiss氏は今回のディープフェイクテキスト実験を実施したハーバード大学の学生だ。
—–
米国の連邦政府機関は国内における新型コロナウイルスのパンデミック拡大を阻止しようとさまざまな措置を講じており、その厳しさは増すばかりだ。連邦政府により策定される規則の影響を受ける米国民と企業は、自分たちの意見や経験をどのように政府に伝えることができるのだろうか。移動の制限や監視の強化などをはじめとする新たな規則の多くは、施行に際して連邦政府の権限を平時よりも拡大する必要がある。このような場合、米国の法律では、連邦政府が規則案を一般に公開し、国民がオンラインで意見を投稿できるようにすることが義務付けられている。しかし、米国の民主主義にとって不可欠な仕組みである連邦政府のパブリックコメントウェブサイトは、今回のような危機に際して安全に機能するのだろうか。ボットによる攻撃に対して脆弱ではないだろうか。
2019年12月、筆者らは、自動化された攻撃に対するパブリックコメントプロセスの脆弱性に関する実調査についてまとめた新しい研究論文を発表した。この調査では、誰でも利用できる人工知能を使用してディープフェイクテキスト（コンピュータが深層学習により人間の発言を模倣して生成するテキスト）によるコメントを1001件生成し、それを実際にアイダホ州のメディケイド被保険者に就業状況報告を義務付ける連邦規則案に関するパブリックコメントを募集するためにCenters for Medicare & Medicaid Services（メディケア・メディケイド・サービス・センター、CMS）が開設したウェブサイトに投稿するという実験を行った。
ディープフェイクテキストを使用して作成したコメントは連邦パブリックコメント期間中に投稿されたコメント総数1810件の55%以上を占めた。筆者らは、その後の追跡調査で、これらのコメントがボットによるものだと思うか、実際に人が書いたものだと思うかを尋ねるアンケートを実施した。回答者の正答率は50%、当てずっぽうで答えたときの確率と同じだった。
Image Credits: Zang/Weiss/Sweeney
上記はボットによって生成されたディープフェイクテキストの例だ。アンケート回答者全員がこのテキストは人が書いたものと判断した。
筆者らは実験終了後、ディープフェイクコメントを投稿したことをCMSに通知し、それらのコメントを投稿履歴から削除したが、悪意のある攻撃者がそれと同じことをするとは思えない。
連邦ウェブサイトに対する大規模なフェイクコメント攻撃は過去にもあった。例えば、2017年、ネット中立性規制を撤廃する規則案について、連邦通信委員会（FCC）のウェブサイトに対してフェイクコメント攻撃が行われたことがある。
ネット中立性規則に関するパブリックコメント期間中、通信業界団体のBroadband for America（ブロードバンド・フォー・アメリカ）に雇われた複数の企業が、ボットを利用してネット中立性規則の撤廃を支持するコメントを作成したのだ。こうして投稿された数百万件のコメント（中にはすでに亡くなっている有権者や架空の人物になりすましたものもあった）によって、世論がねじ曲げられたのである。
ネット中立性に関するコメントを事後にテキスト解析したみたところ、FCCのネット中立性撤廃案に対する2200万件を超えるコメントのうち実に96～97%がボットを使ったコメント操作だった可能性が高いことがわかった。このコメント操作では比較的単純で目立つ検索・置換方式が使われていたため、FCCのように膨大な数のコメントが投稿された場合でも容易に検出できたはずだ。しかし、調査の結果、簡単な検索・置換方式で作成された不正なコメントであることが判明した後も、FCCはそれらのコメントを正当なパブリックコメントとして受理していた。
このように、比較的単純な方法でも連邦政府の政策決定に影響を与えることができたという前例がある。しかし、ボットによるディープフェイクテキスト投稿がもたらす脅威について筆者らが行った実験から、今後の攻撃はより高度で検出困難になる可能性が明らかになった。
パブリックコメントに関する法律と政策
はっきりさせておこう。自分たちの要求を伝えそれを検討してもらうことができる仕組みは民主主義モデルの根幹である。憲法に明記され、人権擁護団体によって厳密に保護されているとおり、すべての米国民は、投票、自己表現、異議申し立てなどにより、政府に参加する役割を保証されている。
Image Credits: Zang/Weiss/Sweeney
連邦政府機関が全米市民に影響を与える新しい規則を策定する際には、規則案によって最も影響を受ける一般市民、権利擁護団体や企業が連邦機関に対して懸念を表明できるようにパブリックコメント期間を設け、その規則について最終決定を行う前にそれらのコメントを検討することが法律で義務付けられている。このようなパブリックコメントの義務化は、1946年の行政手続法の成立により導入され、2002年には電子政府法により、連邦政府はパブリックコメントを受信するオンラインツールを作成することを求められるようになった。それ以来、投稿されたコメントを実際に調査したことを証明すること、およびパブリックコメントに基づいて下した決定に関連する分析結果や決定の正当性を示すものを開示することを連邦政府に要求する判決がいくつも下されている[Overton Park保護団体対Volpe 401 U. S. 402, 416（1971）、Home Box Office対FCC 567 F.2d at 36（1977）、 Thompson対Clark 741 F. 2d 401, 408（CADC 1984）を参照のこと］。
実は、筆者らがCMSのパブリックコメントサイトでディープフェイクテキスト投稿に対する脆弱性をテストしたのは、2019年6月、米国最高裁が7対1で「CMSは、州内でのメディケイド資格取得規則に就業状況報告義務を追加するという州政府の提案を検討する際に、行政手続法のパブリックコメント検討義務を省略することはできない」という判決を下したからだ。
政治学者の研究によると、パブリックコメントは連邦政府機関による最終決定に大きな影響を及ぼす可能性がある。例えば、ハーバード大学が2018年に行った調査によると、連邦準備制度が定めるドッド-フランク法関連規則についてコメントを投稿した銀行は、コメントしなかった銀行よりも70億ドル（約7600億円）多い超過リターンを獲得していたことが判明した。さらに、同調査においてボルカー規則とデビッドカード交換規則について投稿されたコメントを分析した結果、さまざまな銀行から投稿されたコメントが、初期草案から最終案に至る「不透明なプロセス」に重大な影響を与えたことがわかった。
2017年のネット中立性撤廃規則では、業界団体のブロードバンド・フォー・アメリカが、正式な社名を使って直接コメントするだけでなく、ネット中立性撤廃を支持する数百万件のフェイクコメントを投稿することで、FCCの規則案が米国市民によって広範に支持されているという誤った認識を作り上げた。
ディープフェイクテキストによるパブリックコメントへの投稿を阻止するテクノロジー
筆者らの研究はディープフェイクテキストの脅威がパブリックコメントウェブサイトに混乱をもたらすことを示しているが、これは、長年にわたり米国の民主主義を支えてきたパブリックコメントウェブサイトという仕組みを終わらせるべきだということではない。テクノロジーを活用して、人間が書いたパブリックコメントのみを受け入れ、ボットによるディープフェイクテキストは拒否する革新的なソリューションを実現する方法を見つける必要がある。
パブリックコメントプロセスには、コメントの投稿とコメントの受理という２つの段階があり、どちらの段階でもテクノロジーを活用して問題を解決できる可能性がある。
まず、コメントの投稿という最初の段階にテクノロジーを利用することで、そもそもボットがディープフェイクコメントを投稿するのを阻止できる。そうなると、攻撃者はボットの代わりに大勢の人を使わざるを得なくなり、コストが高くなって攻撃自体が割に合わなくなる。すでに広く浸透しているソリューションの1つにCAPTCHAボックスがある。インターネット上の入力フォームの末尾で、ある単語を視覚的に判読するか音声で判別するように求め、正解した場合にのみ送信をクリックできるようにする仕組みだ。CAPTCHAでは余分な手順の追加によりボットによる送信実行が困難になる。こうしたツールは、障がい者でも使えるように改善する余地はあるものの、正しい方向への一歩といえるだろう。
ただし、海外の安い労働力を使ってCAPTCHAの入力を行わせディープフェイクコメントを投稿するという手段を取られたら、CAPTCHAでは攻撃を阻止できない。これに対抗する１つの方法として、コメントを投稿するたびに毎回厳密な個人情報の入力を求めるという方法が考えられるが、その方法だと、CMSやFDA（食品医薬品局）によって現在行われている匿名コメントの受け付けが不可能になる。匿名コメントは、ヘルスケアなどのデリケートな問題に関する規則案によって多大な影響を被る可能性のある個人がプライバシーを守りつつコメントする方法として有用だ。したがって、ユーザーの認証手順とコメントの投稿手順を切り離して、認証された個人だけがコメントを匿名で投稿できるようにすることが技術的な課題となるだろう。
最後に、第2段階のコメントの受理においては、より高度なテクノロジーによって、ディープフェイクテキストと人間による投稿を識別できる。筆者らの研究では100人を超える調査対象者がディープフェイクテキストの例をフェイクとして判別できなかったが、より高度なスパム検出アルゴリズムが登場すれば、判別率は向上するだろう。今後、機械学習による手法が進歩するにつれ、ディープフェイクテキストの生成アルゴリズム開発と判別アルゴリズム開発がせめぎ合うようになるかもしれない。
当面の課題
将来、テクノロジーの進歩によってさらに包括的なソリューションが可能になるとはいえ、ディープフェイクテキストが米国の民主主義に及ぼす影響は現在進行中の脅威である。そのため、連邦政府のすべてのパブリックコメントウェブサイトで、当面のセキュリティ措置として最新のCAPTCHAを採用することを推奨したい。この方針は、米国上院調査委員会のReport on Abuses of the Federal Notice-and-Comment Rulemaking Process（連邦告知とコメント規則策定プロセスの乱用に関する報告）でも支持されている。
加えて、より優れたテクノロジーソリューションを開発するために、政府、研究者、民間のイノベーターという産学官の連携を確立する必要がある。ハーバード大学が、他の20の教育機関およびニューアメリカ財団、フォード財団、ヒューレット財団と共にPublic Interest Technology University Network（パブリックインタレストテクノロジー大学ネットワーク）に参加したのもそのためだ。このネットワークは、公益に資することを目指す新世代の技術者や政策担当者を支援することに専念している。さまざまなカリキュラム、研究および実験的な学習プログラムを通して、パブリックインタレストテクノロジーという分野を構築するのが目的だ。将来的には、最初から公共の利益を考えてテクノロジーの開発と規制が行われるようになることを目指している。
新型コロナウイルスによって米国社会のさまざまな部分が大きな打撃を受けたが、トランプ政権下の連邦機関が規制緩和規則を提案する動きは弱まっておらず、それらの緩和規則が及ぼす影響は現在のパンデミック収束後も長く続くだろう。例えば、2020年5月18日に環境保護庁（EPA）が、EPAによる規制の支持に使用できる研究調査の制限に関して新しい規則を提案したが、この規制案には2020年4月6日時点で61万件のコメントが寄せられている。また、2020年4月2日には、教育省がオンライン教育と遠隔教育に関する規制を恒久的に緩和する新しい規則を提案した。さらに、2017年に2200万件ものボット生成コメントが投稿されたFCCのネット中立性規則に関するパブリックコメントは、「FCCはネット中立性規則の廃止が公共の安全と低所得者向け携帯電話アクセスプログラムに及ぼす影響を無視した」という連邦裁判所の判決をうけて、2020年２月19日にコメント募集が再開された。
連邦機関のパブリックコメントサイトは、規則の最終案が決定される前に米国の市民と団体が連邦機関に対して懸念を表明する唯一の手段だ。より高度なテクノロジーを活用して不正防止を図ることにより、国家の危機の際に米国の民主主義がディープフェイクテキストによってさらなる脅威にさらされるという事態を防ぐ必要がある。
関連記事：Facebookが10億円超を投じてディープフェイクの識別に賞金
[原文へ]
（翻訳：Dragonfly）
- Original:https://jp.techcrunch.com/2020/06/09/2020-05-16-the-real-threat-of-fake-voices-in-a-time-of-crisis/
- Source:TechCrunch Japan
- Author:Jinyan Zang,Max Weiss,Latanya Sweeney
Amazonベストセラー
Now loading...