Microsoftが巨額を投資するOpenAIが提供するチャットボットChatGPTの最新バージョンGPT-4とiPhoneをかけ合わせ、視覚を持った人工知能（AI）アシスタントを作った強者が登場し、話題になっています。
AIアシスタントの未来がここに？
AI関係の制作を行うマッケイ・リグレー氏（@mckaywrigley）は、「iPhoneでGPT-4に目を与えてみました」と動画をソーシャルメディアに公開しました。
同氏が行ったのは、厳しい糖質制限によって身体をケトジェニックな状態にし、脂肪を燃えやすくする「ケトン食（ケトジェニックダイエット）」とは何かをAIに学ばせ、冷蔵庫の中からケトン食に則した食べ物を見つけさせ、インターネットを検索し、すでにある材料でレシピを考えさせるという4段階のプロセスです。
I used my iPhone to give GPT-4 eyes.
My AI vision assistant:
– learned what a Keto diet is
– identified Keto foods in my fridge
– searched the internet
– found a recipe with the ingredientsThe future is here! pic.twitter.com/bOMhJfWRP0
一見iPhone上でコンピュータビジョンの処理をすべて行っているように見えますが、iPhoneからMacへの映像のストリーミングしているとのことで、やはりコンピュータは現段階では必要なようです。
リグレー氏いわく、必要なものは次のものだけだそうです。
- YoloV8でオブジェクト検出を行う
- 20分のYouTube動画で、ビジョンモデルに独自のデータ／画像を追加する方法を学ぶ
- GPT-4でAIを扱う
- OpenAI Whisperで音声をつける
- Googleカスタム検索エンジンでWebブラウジングを行う
- MacOS/iOSで、iPhoneからMacへの映像のストリーミングを処理する
- Pythonの基本的なコーディング
同氏は今回のシステムの開発理由について、「AppleのARグラスが今年の夏に発売されるらしいので、AIでクールなものを開発できるように準備している」と述べています。
Source:@mckaywrigley/Twitter
(lexi)
- Original:https://iphone-mania.jp/news-535474/
- Source:iPhone Mania
- Author:iPhone Mania