南カリフォルニア大学、AIの信頼性を定量化するツール「DeepTrust」！

YamadaYoji

4年前

自動運転車が解禁されるかどうかは、AIの信頼性を高められるかにかかっているだろう。路上のオブジェクトの認識と、それをもとにした意思決定の精度が搭乗者の身の安全を左右する。

もし、コンピュータビジョンとLIDARからのデータが矛盾した情報を導き出したのなら、システムが瞬時にどちらがより正確かを判断しなければならない。こうした考えから南カリフォルニア大学（USC）の研究者は、AIによって生成されたデータと予測が信頼できるかどうかを調べるツールを開発した。

2年越しで開発のAI評価ツール

これまで、AI予測の信頼性については評価しようがなかった。DeepTrustは「主観的ロジック」と呼ばれる技術を採用して、AI予測の信頼性を定量化する。

ちなみに研究者は、ニューラルネットワーク・アーキテクチャを評価できるツールの開発に2年を費やしたようだ。

2016年の大統領選挙で活用された勝利を予測するAIでDeepTrustをテストしたところ、クリントンの勝利を示したデータでよりエラーが大きいことを示したという。

DeepTrustは、AIの信頼性を評価するのに、トレーニングデータのラベルが正確かどうかを見ているわけではない。これらをすべて洗うには膨大な時間を要する。

より重要なポイントは、ニューラルネットワーク・アーキテクチャの精度が高いかどうかで、これはサンプルでテストしたときのノイズを測定することで判別できるという。

AIの信頼性を定量化するツールはDeepTrustが最初のものとのことで、さまざまなAIシステムを社会実装するうえで役立てられそうだ。