サイトアイコン IT NEWS

Google、会話内容に沿って返答するチャットボットモデル「Meena」を開発!

製品/サービスへの質問や英会話アプリなど、チャットボットはある程度うまく応対してくれるが、少し既定をはずれたとたんに「わかりません」といったお決まりの答えが返ってくる。

これをもう少し人間ぽくしようとの試みがGoogleの研究者らによってなされている。

「Meena」は、特定のコンテキストを理解しながら返答するニューラル対話モデルだ。

・GPT-2の約8.5倍のデータでトレーニング

Meenaは、「Evolved Transformer(モデルの自動探索を利用するTransformer)」と呼ばれるアーキテクチャを利用して、次の発語に対する予測不確実性を最小にするようトレーニングされている。

エンコーダーが会話コンテキストを処理し、Meenaがこれまで発話した内容を理解できるようにする。デコーダーはその情報を使用して実際の応答を定式化する。

トレーニングには、SNS上の会話から持ってきた341GBものテキストデータを用いた。これは、最先端の自然言語処理モデル、GPT-2の約8.5倍にあたるとのこと。

・SSAスコアがヒトに近づく

評価は、Mitsuku、Cleverbot、XiaoIce、DialoGPTといった既存のチャットボットとの比較で行われた。

フレーズごとに「合理性(辻褄があっているか)」「具体性(コンテキストに沿っているか)」が評価された結果、他のチャットボットよりも優れていることが判明。SSAという評価指標のスコア72%を達成し、一般的なヒトのスコア86%に近づく勢いだ。

さらに、人間によるおおがかりでブレが生じがちな評価の代替としてMeenaが活用できそうなことが判明し、ニューラル対話モデルの自動評価が行えるようになる可能性もある。

一方、今回改善されたのは、コンテキストに沿って会話する性質で、チャットボットが真に使えるようになるために、性格の実装や偏見の排除といった課題がまだ残っているようだ。

参照元:Towards a Conversational Agent that Can Chat About…Anything/ Google AI Blog

モバイルバージョンを終了