人工知能を使って動画の吹き替えを自動化するPapercup

Papercupは動画の中から人の声を抽出し、別の言語に翻訳して吹き替え音声を付加する技術を開発した英国のベンチャー企業だ。コンテンツ制作会社やYouTuberが、他の言語へ動画を展開するのを助けている。

音声認識・翻訳・吹き替えの流れを自動化

近年は動画コンテンツが増加してきているが、99.9%の動画は1つの言語で制作されてきた。YouTubeに限らず、ポッドキャストやCoursera等のオンラインクラス、そして、Netflixのような動画配信サービスを含め、多言語化が進めば、より多くの視聴者へリーチできる。

Papercupは動画の吹き替えを自動化し、動画制作者が低コストでコンテンツを多言語化するのを支援するものだ。アップロードされた動画の中から人の声を抽出し、指定された言語について機械学習によって翻訳を行って、人の音声を重ね合わせる流れになっている。

さらに、翻訳の品質を担保するため、指定された言語を母語とする担当者によって品質保証が行われているのも強みといえる。音声認識や翻訳のエラーを修正したり、発声のタイミング・抑揚・スピードを調整したりして、より自然な吹き替えを目指す。

PapercupはSky NewsやDiscoveryといったメディア企業や、多言語展開を目指すYouTubeチャンネルをユーザーとしている。毎月、数百を上回る動画の吹き替えを担当し、総視聴数は4000万回を超えた。

2017年に英国で創業された同社は、2020年12月に1000万ドルの資金調達を行っている。この資金を活用し、機械学習の研究開発や、担当者を介した品質保証の仕組みを拡大する見込みだ。

Now loading...