Generalist AIのGEN-1.5、デモ動画1本からトレーニングなしで新タスク学習
Generalist AIのGEN-1.5は、30秒のコンテキストウィンドウ内で3〜12秒のデモ動画をプロンプトとして受け取り、勾配更新なしでタスクを実行する。同社によると、10件のタスクで平均59%の成功率を達成し、約50件のデモを用いて10回の勾配ステップを経た後には83%に達した。これにより、ロボットの適応手法はデータ収集とfine-tuningから、プロンプトによる指示へと移行する。かつてGPT-3が言語モデルにもたらしたin-context learningの飛躍が、閉ループのフィジカル制御においても実現しつつある。なお、対象となるタスクはシンプルかつ短時間で完了するものであり、数値はすべて同社による自己申告である。
出典： generalistai.com ↗
これが機能するという事実が、これらのモデルがどのように使用され得るか、その潜在的な影響、そして一般的な物理的知能を構築するための今後の道のりについて、私たちの考え方を変えるものだ。
Generalist AI
なぜ重要か
- → Robotが1つの動画から数秒で新しい物理的なタスクを学習し、再トレーニングは不要だ
- → ロボティクスをデータ収集＋ファインチューニングからin-context promptingへと移行させる（embodied AIにおけるGPT-3の瞬間だ）
- → 明示的なmeta-learningなしのFoundation modelが、10種類の多様な器用なタスクにわたって一般化する
One-shot robot learning