米ジョージア工科大学が、歌って踊って作詞作曲もできるロボット「Shimon」を開発した。ディープラーニングを使用し、表情豊かに演奏する。
・ 歌って踊って作詞作曲できるロボット
Shimonは歌って踊って作詞作曲できるロボットで、映像ではマリンバ演奏する様子も紹介されている。
研究チームは、このユニークなShimonを以下のように開発した。まず、当研究を率いたWeinberg教授がテーマを設定し、Shimonがテーマに従って歌詞を書いて、教授がそれらを組み合わせてメロディーを作成。ShimonはWeinberg教授が歌をまとめるときに使用するメロディも作成でき、人間のミュージシャンのバンドと一緒に歌を歌う。
・人間だけでは書けなかった音楽
Shimonはジャズやヒップホップなどを集めた5万個の歌詞のデータセットを使って訓練された後、機械学習アルゴリズムのディープラーニングを使用して、独自の単語を作成。ユニークな声はバルセロナのポンペウ・ファブラ大学と共同で機械学習を使用して開発され、数百の歌で訓練が行われた。
口や眉毛や頭を動かして感情を伝えたり、曲の初めにカウントしたりすることでバンドメンバーとの対話も可能。マリンバ演奏もでき、表情豊かな演奏や振り付けもできる。Weinberg教授は、Shimonは単なるミュージシャンの代わりではなく、アイデアを生み出して音楽を広げ、人間だけでは作れなかった音楽を生み出せると述べている。
ShimonとWeinberg教授とバンドは、ロボットと人間が作りだす音楽をより多くの人々に届けるべく、現在ツアースケジュールを調整中。今春Spotifyで、 ShimonとWeinberg教授が一緒に書いた8〜10曲を発表する予定だ。またひとつ、ユニークなロボットが登場した。
Georgia Institute of Technology
- Original:https://techable.jp/archives/118247
- Source:Techable（テッカブル） -海外・国内のネットベンチャー系ニュースサイト
- Author:クリューガー量子