「この箱を隣の棚へ」と頼まれたAIは何をする？フィジカルAI・世界モデル入門

たとえば「この箱を隣の棚まで運んで」と会話AIに頼むと、手順の文章が返ってきます。では、そのAIをロボットにつなげれば、箱を運べるのでしょうか。アーム付きの移動台車が箱をつかみ、棚まで運び、置き終える場面を考えてみます。

現実の作業には、周囲を観測し、動いた結果を予測し、機体を制御し、実行後に確かめる流れが必要です。手順が正しくても、アームの届く範囲や荷物の重さ、周囲の人との距離は別に確かめます。

予測では8cm、実際には6cm。次の動きを変える

箱の位置が5cmで、3cm動かせば8cmになると予測する一次元の説明例です。ところが滑りがあり、実際の位置は6cmでした。目標が10cmなら、予測だけを使った次の2cmでは8cmにしか届かず、観測し直した位置からは4cmの差が残っています。

この算術は、世界モデルやロボットを動かした実験ではありません。予測と観測を混ぜずに記録するための例です。距離の差が分かっても、現場で4cm動かしてよいかは、人や障害物、荷物の状態などを別に確かめます。

現場で変わる条件	デモの後に質問すること
箱が滑る、持つ位置がずれる	予測と観測の差をいつ見て、どこからやり直すか
重さ・形・照明が変わる	試験に含めた範囲と、未確認の条件は何か
人が作業範囲へ入る	どの条件で止まり、誰が再開を判断するか

NVIDIAの世界モデルの説明は、入力から次の変化を予測する役割を示しています（2026年10月26日確認）。予測映像の見栄えを、そのまま実機の成功率に置き換えず、試行回数、失敗、人の介入、停止した場面を同じ表で確認します。

箱を動かすには、位置や力を測り直す

NVIDIAの用語解説によると、フィジカルAIは現実世界を認識し、推論して行動する、または行動を組織する自律システムの技術です。対象にはロボット、自動運転、カメラを使う空間の管理などがあります。ここでは、機械が箱を動かす場面に絞ります。

同じ見た目の箱でも、中身が空の場合と重い部品が入っている場合では、持ち上げる動作が変わります。カメラで位置を見つけただけでは、どちらの箱か決められません。重さを知る記録や、力を測る手段が必要です。

位置や力を観測する → 持ち上げたときのずれを予測する → つかむ位置や力を調整する → 動いた結果を測り直す。箱の見た目が変わらなくても、この途中で判断が変わります。アームの届く範囲や支えられる重さを超える場合は、動作を続ける前に止める必要があります。

画像と言葉からロボットの動作を出すVLA（視覚・言語・行動）モデルの研究もあります。Google DeepMindの2025年のGemini Robotics技術報告は、その接続の一例です。以下の図は「文章で答える使い方」と「機械を動かすシステム」を比べています。会話AIでも画像入力や外部の機械との連携を使えるため、AIの種類による知能の順位を示す比較ではありません。

図1　箱を運ぶ想定例。矢印は情報や指令を渡す向きです。各機能は分割・統合でき、独立した世界モデルの搭載を必須とする構成ではありません。

世界モデルは、環境の次の変化を予測する

世界モデルは、環境が次にどう変わるかを予測するためのモデルです。NVIDIAの世界モデル解説では、文章、画像、動画などを入力に次に起こることを予測する技術として紹介されています。同社の世界基盤モデルには、物理環境に関する動画や状態を生成する用途もあります。

研究では、人に見せる動画を作ることに限られません。David HaとJürgen Schmidhuberの「World Models」原著では、環境を圧縮した内部表現を使い、過去の情報や行動を条件に次の状態を予測します。別の制御モデルが、その内部表現を利用して行動を決めます。この研究の実験対象はゲーム環境です。

ニュースに「世界モデル」とあれば、名前に加えて用途を見ます。何を入力し、どの状態を、どのくらい先まで予測するのか。行動を入力して「この動きを選ぶとどうなるか」を比べられるのか。それとも、学習用の映像を生成する用途なのか。ここが違うと、ロボットにどう使えるかも変わります。

箱を運ぶ例なら、将来の箱の位置を見積もる仕組み、動作を選ぶ仕組み、モーターを制御する仕組みは、それぞれ役割が異なります。自然に見える予測動画でも、荷物の重さや摩擦まで正しいと決めつけることはできません。

予測の中では勝てるのに、元のゲームでは負ける

「World Models」の著者は、飛んでくる火の玉を避けるゲームで、予測モデルの弱点を報告しています。AIは上手に避ける代わりに、模擬環境の中で火の玉が出なくなる動きを見つけました。予測した世界では長く生き残れても、元のゲームに同じ抜け道はありません。原著の「Cheating the World Model」節には、この挙動を示すデモと、模擬環境・元のゲームを比べた結果があります。

この公式デモで見る点は、火の玉が出始める場面と、その後の動きです。映像の滑らかさだけでなく、避けるべきものが途中で消えていないかに注目すると、予測の誤りを利用する意味が分かります。ただし、ゲーム内の結果から、箱の重さを推定できるか、実機が安全に止まれるかまでは判断できません。

模擬環境から、実機での試験へ

記録を集め、条件を変えて試す

NVIDIAのフィジカルAI解説には、実世界や合成したデータによる学習、シミュレーション内での訓練・検証、機体側での実行という構成があります。人の動作例から学ぶ模倣学習や、行動の結果に応じた評価を使う強化学習は、その中で使える方法です。採用する方法は、作業や機体によって変わります。

記録は大量に集めるだけでなく、何が映っているかを付記し、品質を選別し、重複を除くといった整備が必要です。NVIDIAの世界モデル解説も、こうしたデータ整備を開発工程に含めています。

箱の例では、つかむ際の画像や動作の記録を学習に使い、模擬環境で箱の位置や照明を変え、その後に実機を限定条件で確認する流れを考えます。棚が離れているため移動台車とアームを組み合わせていますが、同じ作業台の上で動かすだけなら、固定式で足りる可能性もあります。前提を変えると、必要な機体も変わるのです。

模擬環境と実世界の差を調べる

模擬環境と実世界には隔たりがあります。照明、センサーの雑音、物体や機械の動きが一致しなければ、同じ行動でも結果が変わり得ます。Gemini Roboticsの技術報告では、実機のALOHA 2による一部の作業について、校正のずれや実世界の雑音を、模擬環境との成功率の差の要因として挙げています。これは当該研究の試験条件で得られた結果です。

乾いた平らな床だけを想定した箱の例から、段差や濡れた床、人が横切る環境へ範囲を広げるには、それぞれの条件に対応する試験が必要です。今回の想定例では、これらを条件外として残します。実機で失敗や人の介入まで記録されていれば、判断材料は増えます。学習データの量と合わせて、使う条件に対応した試験記録を見ます。

安全についても、「危険な依頼を断る」ことと「実機がぶつからず、接触する力を制限できる」ことは確認の対象が異なります。Gemini Roboticsの技術報告は、機体や環境に応じて、安全を担う下位の制御とVLAモデルを接続する必要性を述べています。停止機構の有無に加え、実際の停止距離や接触する力を対象条件で確かめます。

デモ動画で見るのは、繰り返しと人の介入

箱を運ぶ成功動画から、失敗の頻度や一日の稼働状況までは分かりません。途中の編集や倍速、失敗を含む全試行、初期配置を人が整えたか、遠隔操作や再起動が入ったかを見ます。チェックリストは、こうした証拠と不明点を記録するために使います。

成功率が示された場合は、何を成功と数えたか、分母が何回の試行か、やり直しや人の介入を含めたかを確認します。箱を持ち上げた時点を成功とする試験と、棚まで運んで置き終える試験は、そのまま比較できません。数字がなければ、映像から推定して埋めずに「不明」と記録します。

「World Models」の公式デモに当てはめると、確認できる範囲は次のようになります。

確認すること	原著の「Cheating the World Model」で分かること
対象の環境	火の玉を避けるゲームと、その変化を予測する模擬環境
観測と予測	ゲーム画像を圧縮した表現と行動履歴から、次の状態を予測する
起きた問題	制御モデルが予測の弱点を利用し、模擬環境で火の玉が出なくなる動きを選ぶ
比較する結果	模擬環境で長く生存できても、元のゲームで同じ成績になるとは限らない
この資料で判断できないこと	実機の可搬重量、停止距離、人との接触時の安全性

対象の公式デモと実験結果で、予測された環境と元のゲームを見比べてください。これは2018年のゲーム研究であり、現在のロボット製品の性能表ではありません。

手元で使う際は、Excelの空欄版に公式資料のURLと該当する時刻・節を残します。情報が足りなければ、提供元の技術報告やモデルカード、仕様書、運用・試験報告で確かめます。問い合わせるなら「全試行の件数と失敗内訳」「人が介入した条件」「対象外の環境」を具体的に尋ねます。

デモ動画を読むチェックリストをダウンロード（Excel）

次にデモ動画を見るときは、「何を予測できたか」と「どの機体がどの条件で動けたか」を書き出してみてください。箱を落とさず繰り返し運べることや、安全に止まれることは、実機の試験結果から確かめます。

性能の数字が並ぶ発表の読み方は、AIの性能ニュースを読む｜得点・IQ・作業時間で扱っています。カメラ画像や動画をAIがどこまで読めるかは、AIはPDF・画像・音声・動画をどう読む？で確かめられます。

AI業務改善診断を見る

参考出典

• NVIDIA「What is Physical AI?」：定義、学習・模擬検証・実行の構成。公開日・更新日の明示なし、2026年9月15日確認
• NVIDIA「What Is a World Model?」：予測の用途とデータ整備。公開日・更新日の明示なし、2026年9月15日確認
• David Ha・Jürgen Schmidhuber「World Models」：2018年3月27日、著者公開HTML版。ゲーム環境での予測・制御・モデルの不完全さ
• Google DeepMind「Gemini Robotics: Bringing AI into the Physical World」：2025年3月25日、arXiv:2503.20020v1。第2.3・3・5節の実験・構成・安全制御