スマホメーカー各社が写真での顔の写り方に特別な注意を払っているのは、理に適っている。米国時間10月19日、Google（グーグル）が発表した新しいPixel 6には、人間をこれまで以上によく見せるための、AIを搭載した新しいツール群が導入されている。その中でも特に注目されているのが、動く顔のブレを軽減する「Face Unblur（顔のぼかし解除）」と「Real Tone（リアルトーン）」だ。後者は、Googleの新しいTensorチップを搭載したAIによる後処理機能で、あらゆる肌色の顔を可能な限り美しく見せることを目指している。
関連記事
・Google Pixel 6のカメラはAIでスナップショットをスマート化する
・Pixel 6のAI機能向けに設計されたTensor SoCで、グーグルは独自チップに賭ける
スマートフォンで撮影される写真の大半は、自撮りであれ、他撮りであれ、人間が写っている。従来、複数の顔が写っている写真、特に顔の肌色がすべて異なる場合、露出をきれいにするのは非常に難しいとされてきた。新しいPixel 6では、コンピュテーショナルフォトグラフィーのレイヤーが加わり、写真に写っている全員ができるだけきれいに見えるようになっている。Pixelチームは、さまざまなエキスパートのイメージメーカーやフォトグラファーと協力して、ホワイトバランス、露出、アルゴリズムの調整を行った。同社は、これにより、どんな肌色の人でもうまく撮れるようになったとしている。
Googleは、リアルトーンをフォトグラファーが直面している課題に対する決定的な解決策ではなく、同社のカメラシステムの改善そして、1つのミッションとして捉えていると強調している。Googleは、すべての人々、特に有色人種が、カメラによる顔の撮影においてよりよく表現されるよう、多大な資源を投入している。
AndroidチームのAdvanced PhotographyプロダクトマーケティングマネージャーであるFlorian Koenigsberger（フロリアン・ケーニヒスベルガー）氏は、Pixel新機種の発売に先立って行われたブリーフィングインタビューで、次のように述べた。「私の母はダークな肌の黒人女性で、父は白人のドイツ人です。私の人生を通じて、ずっと疑問でした。どうしたらみんながきれいに見える写真が撮れるだろう。新しいカメラは、その道のりの一歩です。Googleの多様性の数値はもはやミステリーではありません。当社には、実体験や、この問題に関してオーセンティックに語ることができる人材という点で、明らかに不足しているものがあると理解していました」。
カメラチームは、フォトグラファー、カラリスト、シネマトグラファー、撮影監督、ディレクターなどと協力して、多様な肌色の人々、特により暗い肌色の人々に照明を当てて撮影する際の課題を深く理解しようとした。中でも、ドラマシリーズ「Insecure（インセキュア）」の撮影監督であるAva Berkofsky（アヴァ・バーコフスキー）氏、フォトグラファーのJoshua Kissi（ジョシュア・キッシー）氏、撮影監督のKira Kelly（キラ・ケリー）氏など、幅広い分野のプロフェッショナルの経験を活用した。
「エスニシティや肌の色だけでなく、さまざまな手法を含め、実に多様な視点を取り入れることに注力しました」とケーニヒスベルガー氏は語る。「カラリストたちは、映像制作の過程で起こるサイエンスとして考えているので、実際に話してみると最も興味深い人たちでした」とも。
Googleのプロダクトチームは、画像処理の専門家たちと協力して彼らにカメラを渡し、混合光源、逆光、室内、1枚の画像に複数の肌色を入れるなど、非常に難しい撮影状況に挑戦してもらった。
「私たちは、特にこのようなコミュニティにおいて、どこが問題なのかを学び、そこからどのような方向に進むべきかを考えなければなりませんでした」とケーニヒスベルガー氏は説明する。「イメージングのプロフェッショナルたちは非常に率直で、我々のエンジニアと直接会話をしていました。私はこの会話の進行を手伝いましたが、技術的な学びだけでなく、この空間で起こった文化的な学びも興味深いものでした。例えば粉っぽさ、よりダークな肌のトーン、質感などのことです。ミッドトーンのニュアンスはさまざまです」。
このプロセスは、カメラの顔検出アルゴリズムから始まる。カメラが顔を見ていることを認識すると、カメラはどのように画像をレンダリングすればうまくいくかを考え始める。複数のデバイスでテストを行った結果、Pixel 6は競合メーカーの製品や旧世代のPixelデバイスよりも一貫して優れたパフォーマンスを発揮していることが、Googleのチームによって明らかになった。
この機能が実際にどのように機能するのか、グローバルな編集（画像全体に同じフィルターを適用すること）を行うのか、あるいはAIが編集パスの一部として個々の顔を編集するのかは、すぐには明らかになっていない。近いうちに、カメラのこの特定の側面が実際にどのように機能するのか、より詳しく調べてみたいと思う。
カメラチームは、この分野での取り組みにより、カメラアルゴリズムを作成するためのトレーニングセットの多様性が25倍になったことを強調している。リアルトーン機能は、カメラアルゴリズムの中核をなすものであり、オフにしたり無効にすることはできない。
画像クレジット：Google
［原文へ］
（文：Haje Jan Kamps、翻訳：Aya Nakazato）