LLM活用のリーガルリサーチAI誕生。法律文献に依拠した回答で信ぴょう性・正確性を向上

樋口千穂

1年前

株式会社Legalscapeは、大規模言語モデル（LLM）の法務領域への応用を通じ、法務パーソンを想定利用者とするリーガルリサーチ特化の対話AIを開発しました。

また、大手法律事務所である森・濱田松本法律事務所との協働により、高い精度を達成。今後の実用化を目指します。

法務領域における対話AIの課題

昨今の対話AIシステムは、幅広い質問にもっともらしい回答を返すことができますが、回答の正確性が求められる法務領域においては、さまざまな課題があります。

例えば、回答内容の根拠や背景となるロジックが不明であることや、「それらしい嘘をついてしまう」という通称“hallucination”問題は、法務領域における実務応用上、特に大きな課題と言えるでしょう。

株式会社Legalscapeは対話AIをリーガルリサーチ領域に実装する手法として、質問への回答時に必ず信頼のおける法律書籍を引用するシステムを開発。

これは、日本における法律実務のノウハウが主に法律書籍や雑誌などの二次情報として流通しており、LLMに法律書籍などを組み合わせて利活用することの効用が非常に高いと考えられているからだといいます。

法律書籍を引用することで、回答の根拠が不明である問題や hallucination問題を解決しつつ、回答の正確性を大幅に向上することに成功しています。

なお、同AIの研究開発は、東京大学大学院情報理工学系研究科コンピュータ科学専攻で自然言語処理を研究してきた最高技術責任者の城戸祐亮氏を中心とするチームが行いました。

Legalscapeと森・濱田松本法律事務所は、リーガルリサーチ特化の対話AIの企画・開発のための意見交換・協議を実施。それを踏まえ、Legalscapeがシステムを開発し、同法律事務所において試験利用を行っています。

また、試験利用における利用結果・フィードバックを踏まえた改善を繰り返すことにより、回答の質を向上させるとともに、法律実務における実際の利活用方法を考慮したシステム設計を進めてきました。

現段階の具体的な成果として、平成26年司法試験の短答式試験（民事系科目、会社法領域）における正答率は78.6%を記録。同じくGPT-4ベースのChatGPTの正答率は35.7%でした。

また、平成24～26年司法試験の短答式試験（民事系科目）および平成24～28年の司法試験予備試験の短答式試験（民法・商法・民事訴訟法科目）で出題された会社法領域問題計70問においても、同AIは71.4%の正答率。GPT-4ベースのChatGPTは、42.9%でした。

なお、司法試験短答式の例年の合格正答率は60%程度とのことです。

Legalscapeはこれまで、同AIにおいて、会社法分野での開発・改良に注力してきました。

現在は、他の法分野の法律書籍や法律書籍以外の文献の追加を行うなど、企業法務を中心としたさまざまな法分野への拡充を目指し、さらなる取り組みを開始しています。

また、引き続き、森・濱田松本法律事務所との協働を行い、これらを通じてシステムにさらなる改良を加えることで、早期の製品化を目指すとのことです。

（文・Higuchi）