マイクロソフトの最新フライトシミュレーターである2020年版「Microsoft Flight Simulator」は、このジャンルで新基準を打ち立てた技術的な驚異（未訳記事）である。さて、マイクロソフトと、このシミュレーターの開発を担当したフランス拠点のゲームスタジオのAsobo Studios（アソボ・スタジオ）が、このリアルで生き生きとした世界を再現するために複数の企業と連携したことをご存じだろうか。
その1社が、オーストリアで人口第二の都市であるグラーツを拠点とするスタートアップ企業のBlackshark.ai（ブラックシャークAI）だ。同社は、わずか50人ほどのチームで、クラウド上のAIと大規模なコンピューティングリソースの助けを借りて、世界中のあらゆる都市や町をリアルに再現した。
新しいフライトシミュレータの発売を前に、TechCrunchはBlacksharkの共同創業者でCEOのMichael Putz（マイケル・プッツ）氏にマイクロソフトとの協業と同社のビジョンについて話を聞いた。
画像クレジット：Microsoft
Blackshark は、多人数参加型オンライン（MMO）ゲーム「World of Tanks」の開発元であるBongfish（ボンフィッシュ）のスピンオフとして誕生した。Bongfishは、World of Tanksのほか、Frontline、Motocross Madness、そしてスノーボードゲームのStokedシリーズの開発に携わったゲームスタジオだ。プッツ氏によると、Blackshark創業の道を切り開いたのはStokedシリーズだったという。
「2007年に手がけた最初のゲームの1つが『Stoked and S Stoked Bigger Edition』というスノーボードゲームで、360度の山を完全に再現したゲームでした。山自体はプロシージャル（数式による画像合成）によって構築・描写していましたが、植生やほかのスノーボーダー、小動物などの障害物の配置もプロシージャルを使っていました。このゲームの開発後、レースやシューティング、ドライビングのジャンルも手掛けましたが、我々の心の奥底にはこのプロシージャルによる配置と描写のアイデアがずっと残っていました」と語る。
BongfishがWorld of Tanksでプロシージャルによる描写に戻ったのは、すべての岩を手作業で配置した巨大な地図を作るのに時間がかかったからだ。
そしてこの経験を基にBongfishは、社内にAIチームを立ち上げることになる。このチームは、さまざまな機械学習技術を使って、デザイナーがどのようにマップを構築するかを学習し、独自のAIが作成したマップを構築するシステムを作った。同チームは、マイクロソフトと連携する前にも、実際にいくつかのプロジェクトでこのシステムを使っている。
「偶然にも、新しいフライトシミュレータの開発を手伝ってくれるスタジオを探しているマイクロソフトの担当者と会いました。新しいフライトシミュレータの核となるアイデアは、マイクロソフトの地図サービスであるBing Mapsを、地図としてはもちろん、背景として使うことでした」とプッツ氏。
しかし、Bing Mapsの写真測量データからは400の都市の正確な1:1のデータは得られるものの、地球上の大多数の都市の同様のデータは存在しなかった。マイクロソフトとAsobo Studiosは、残りの都市を構築するためのシステムを必要としていた。そんな状況で現れたのがBlacksharkだったのだ。同社はMicrosoft Flight Simulator向けに、2D衛星画像から15億棟の建物を再構築した。
さて、パッツ氏はマイクロソフトチームと偶然出会ったと話したが、実はこれには少し裏がある、その昔、同社の拠点であるグラーツではBing Mapsチームが働いており、初期の鳥瞰写真地図や3D版のBing Mapsを開発していた。その後、Googleマップが市場を制してしまったが、3DマップにおいてはBing MapsはGoogleマップよりも優れていた。マイクロソフトがグラーツに立ち上げた研究センターがのちに閉鎖されると、アマゾンなどが地元の人材を獲得するためにグラーツに入ってきたという経緯がある。
「だから、建物の再構築を専門とする博士号のようなポジションを埋めるのは簡単でした」とパッツ氏は当時を振り返る。「私は研究センターの存在すら知らなかったのですが、そこからまさに私たちが必要としていた2人のエンジニアを獲得できました」と続ける。
「2Dの地図から3Dの建物を再構築するのが難しい理由は簡単に説明できます。建物の正確な輪郭を把握するは非常に難しいのです」と同氏。
画像クレジット：Blackshark.ai
「基本的にフライトシミュレータでやっていることは、2Dのエリアを解析して建物の足跡（フットプリント）を見つけることですが、これはコンピュータビジョン（画像解析）の作業になります。例えば非常にシンプルな例ですが、建物が木の影に遮られている場合は影が重なっているため、何が建物の一部で何がそうでないのかがわからなくなります。そこで機械学習が重要になってくるのです」とパッツ氏。
Blacksharkは、写真、センサーデータ、既存の地図データなど、ほかのデータも活用できたが、建物の高さや特徴の一部については、非常に少ない情報に基づいて判断しなければならなかった。
もう1つの難題は、建物の高さを把握すること。既存のGIS（地理情報システム）データがあれば、この問題は簡単に解決できるが、世界のほとんどの地域ではGISデータが存在しないか、容易に利用できない。そういった地域では、開発チームは2D画像を使用して、影などの画像の中にあるヒントを探す。とはいえ、影から建物の高さを判断するには時間帯の情報も必要になる。Bing Mapsの画像には正確なタイムスタンプが記録されていなかったが、Blacksharkはそれを可能にする技術を有していたことで突破口が開けた。ここで再び機械学習が注目されることになる。
画像クレジット：Blackshark.ai
「機械学習は少し違った道を歩んでいます」とパッツ氏は指摘する。「機械学習では影の部分も見ていると思いますが、実際はブラックボックスなので何をしているのかよくわかりません。実際の高層ビルやショッピングモールの屋上を見てみるとどちらもほとんどが平らですが、屋上の設備は異なります。この違いをAIが認識することで建物を正しく分類することができます」と説明する。
そして、ある地域のショッピングモールの平均的な高さが通常3階建てであることをシステムが知っていれば、それに合わせて3D画像を生成することもできる。
Blacksharkが「このシステムは間違いを犯す」ことも公言している。実際にFlight Simulatorをプレイしてみると、いくつかの建物の配置に明らかな間違いがあることがわかるだろう。実際にパッツ氏は、このプロジェクトで最も困難だった課題の1つとして「マイクロソフトにこのアプローチを使う許可を得ることだった」と話してくれた。
「15億棟のビルを再構築する話をしています。この膨大な数字の前では、従来のQA（品質保証）のプロセスは役に立ちません。AIによる統計に基づいて開発を進める場合、FPSゲームのHaloのように『このピクセルはイマイチだから修正してくれ』と指を立てるような伝統的なQAは現実的ではないのです。15億棟もの建物を手作業でモデル化することは、論理的にも予算から見ても不可能なので、この課題に取り組むには他に方法がありませんでした」。
時間が経てば、このシステムも改善されていくだろう。マイクロソフトはAzureからゲームに多くのデータをストリーミングしているので、ユーザーは時間が経てば必ずその変化を目にすることになるはずだ。
画像クレジット：Blackshark.ai
このような建物のラベリングはAIモデルを訓練するために開発チームが取り組むべきことの1つで、実際にこのAIによってBlacksharkは大きな進歩を遂げた。しかし、AIモデルの詳細については、パッツ氏はあまり多くを語ろうとしなかった。たった50人のチームで成し遂げたことからも、かなりの企業秘密なのだろう。
「我々のパートナーにとってデータラベルは優先事項ではありませんでした。そこで我々は、独自のライブ・ラベリングを使用して、2～3人の少人数で地球全体のラベリングを進めました。簡単に説明すると、データアナリストが船を検出したい場合、学習アルゴリズムにその船が何であるかを伝えると、サンプル画像の中で検出された船をすぐに出力してくれるような感じです」。
このようにしてデータアナリストがアルゴリズムを鍛え、船のような特定の物体やショッピングモールを検出できるようしている。「ほかの地理空間解析会社は特定のニッチな分野に焦点を当てる傾向がありますが、Blacksharkのツールは解析対象のコンテンツの種類にとらわれないのが特徴です」とパッツ氏。。
画像クレジット：Blackshark.ai
そして、ここにBlacksharkのより大きなビジョンが登場する。Blacksharkは現在、マイクロソフトとの提携で高い評価を得ているが、実はほかの企業とも協力関係にあり、自動運転のシミュレーションのために街の風景をデモリングなども手掛けている。
「我々の大きなビジョンは、地球の表面のほぼリアルタイムのデジタルツインを作ることです。Google Earthやアップル製マップのような従来の写真測量によるモデリングは用途が限られますが、我々のデータを使えば何兆件ものユースケースを切り開くことが可能です。我々は航空データから必要な情報を抽出しています。これらは2D画像の場合が多いですが、そこから3D化することが可能で、すでに別のプロジェクトで実現しています」。
同社の技術を使えば建物を非常に詳細に描画できるため、写真測量に比べて大きな利点が1つある。一般的な写真測量では、基本的に光と影の情報がイメージに組み込まれるため、各シーンを現実のように照らすことは困難だ。Blacksharkの技術では、その建物の構造まで把握しているので、ビルに窓や照明を設置することが可能にあり、実際にMicrosoft Flight Simulatorでは驚くほどリアルな夜のシーンを作り出すことができる。
Flight Simulatorでは使われていない点群（ポイントクラウド、コンピュータで扱う点の集合）も、Blacksharkが注目している分野の1つだ。点群は人間にとっては非常に理解しずらいデータだが、同社はAIシステムを使用して点群を分析することで建物の階数を判別している。
「会社全体がこの大きなビジョンに到達するには、技術的に大きなアドバンテージが必要です。アサシン クリードやGTA（グランド・セフト・オート）のようなビデオゲーム大作は、今では何千人もの人々が開発に携わっておりキャパシティーの限界に達しており、製品管理が非常に困難になっています。この状況を変えるには、より自動化、または半自動化されたステップが必要であることは明らかでした」と同氏。
Blacksharkはゲーム分野からスタートし、マイクロソフトやAsobo Studiosと共同で取り組んでいるが、実際にはゲームではなく自動運転や地理的分析のような分野にも焦点を当てている。プッツ氏は「ゲームエンジンとしてスタートして、他分野でも活用されているUnreal Engineがもう1つの好例でしょう」と語る。
「ゲーム業界に長く携わってきた私にとって、ゲームを開発しているとほかの業界と比べて技術がどれほど画期的なものであるかを知ることができるは非常に心強いです。軍事用・産業用シミュレータの映像をみると、ドライビングゲームに比べてかなりクオリティーが低く見えてしまいます。ゲーム技術がゲームスタックから広がって、他のすべての産業を助けるときが来ています。Blacksharkは、それを可能にした例の1つだと思います」と同氏は締めくくった。
画像クレジット：TechCrunch
［原文へ］
（翻訳：TechCrunch Japan）