マルチモーダルAIは、PDF・画像・音声・動画から文字や図、発言を取り出して答えますが、小さな注記、表の結合セル、読み順、グラフの軸、渡していない時間帯は落としたり補ったりしやすいため、重要な数字は原本と照らし合わせます。
約9分で読めます
合計11,000円でも「支払総額」ではない。AIはPDF・画像・音声・動画をどう読む？
同じ表でも、文字のあるPDFと画像だけのPDFでは、AIが拾える情報が変わります。旧版との比較や、音声の話者、動画の時刻を確かめ、任せる範囲を判断。試用結果を書けるExcel記入票付き。
影山 湧亮 / NeoLogic株式会社 代表取締役。元警視庁。現場業務の整理と生成AI活用・Webシステム開発を一貫して担当。
たとえば、会議の録音、受け取ったPDF、表を撮った写真。まとめてAIに渡し、自然な要約が返ってくると、元の内容も漏れなく読めたように感じるかもしれません。ところが、数字を取り違えた文章でも、要約だけは滑らかに仕上がることがあります。
文章だけでなく、画像や音声など複数の種類の情報を扱うAIを、マルチモーダルAIと呼びます。ファイルを受け付けても、必要な情報が正しく読み取られるとは限りません。まず「何を渡すか」と「何を取り出したいか」を決め、文字・配置・発言者・時間を、それぞれ原資料に戻って確かめます。読むだけでなく、周りの状況を見て体を動かすロボット側のAIは、フィジカルAI・世界モデルとはで説明しています。
三つの配布PDFを開いて、版と文字の取り出しを比べた
2026年10月26日、配布済みの文字PDF v2、画像PDF v2、旧版v1を一ページずつ開き、同じ箇所を目で照合しました。Pythonのpypdfによる文字抽出も行っています。AIへ読ませる試験ではありません。
| 確認した配布物 | 納入日・ノートA・税抜の合計 | 今回の文字抽出 |
|---|---|---|
| 文字PDF v2 | 9月18日9時・12冊・11,000円 | 文字と数値を取得 |
| 画像PDF v2 | 見た目は同じ日付・数量・合計 | 取得した文字は0文字 |
| 旧版v1 | 9月17日9時・10冊・10,000円 | 旧版の文字と数値を取得 |
文字が取れないから資料が空とは言えず、取れたから最新版とも言えません。この三例では、最初に版を選び、その後で読み取りを確かめる必要があります。文字PDF v2でも、脚注の税抜・送料別、配送先「本社」が二行に対応する点は、文字列の合計だけでは確認できません。
導入先では、同じ質問を文字版・画像版へ渡し、使った版、読めなかった箇所、根拠のページを記録します。合計だけを答える問題と、送料を含む支払総額を答えられるかという問題を分けて採点してください。元資料に送料がないなら、その分を推測で埋めないことも確認します。
合計11,000円でも、支払総額とは答えられない
同じ備品表を文字PDFと画像PDFにした例です（想定例）。内容・版・配置をそろえ、後者は文字層を持たない画像にしています。この説明用資料で、数字以外に見る場所をたどります。
備品表で見る点。小さな注記、結合セル、複数列、グラフの軸を別々に照合します。
備品表の合計は11,000円ですが、脚注には「税抜・送料を含まない」とあります。注記を落とすと、合計の数字は合っていても「支払総額」とする回答は誤りです。また、結合セルの「本社」はノートAとペンBの両方にかかります。空いて見えるセルも、この配送先に対応します。
資料下部の2列は、左が発注条件、右が搬入条件です。読み順を混ぜると別の条件が一文になってしまいます。別枠のグラフは98個から100個への変化で、縦軸は90個から始まります。線の傾きだけで「急増」と決めず、単位と目盛り、元の数値を確認します。
読ませるときは、表全体と拡大した該当箇所をセットで渡します。回転を直し、行・列見出し、単位、脚注を残します。大きく表示しても、失われた文字は復元できません。元画像でも読めない場合は、再撮影や作成元の表データが必要です。
OpenAIの画像入力の制約には、小さい文字や回転、グラフの線・色、正確な位置関係などが挙がっています。文字が読めたあとも、表の行列やグラフの意味が正しく取れているかを確かめます。
例の資料：文字PDF（v2） ／ 画像PDF（v2） ／ 旧版PDF（v1）
この3ファイルは手元で開いて比較できます。文字PDFと画像PDFは同じv2、旧版v1は数量・金額・納入日が異なります。録音と動画は本文の説明例で、再生用ファイルの配布はありません。
「30万円の案」と「上限13万円」は、どちらも残す
対応する音声認識機能には、話者ラベルと開始・終了時刻を返し、参照音声を使って既知の話者に対応づけるものがあります。結果を使うときは、同時発話や固有名詞、発言者の名前が合っているかを録音と照合します。
次は発言が重なった会議の例です（想定例）。
00:00–00:04 話者A「アオバ案件は、30万円で進める案です。」
00:03–00:08 話者B「まだ承認していません。上限は13万円です。」
読む段階では「30万円」と「13万円」、話者、00:03–00:04の重なりを分けます。要約するなら「30万円の案に対し、未承認で上限13万円との発言があった」です。「30万円で発注決定」とするのは、発言にない判断の追加です。実務では該当音声を聞き直し、案件名は名簿や議題資料、正式な決定は承認記録と照合します。会議の録音を文字にするAIを選ぶ場合は、文字起こし・音声AIの選び方で聞き取りと要約を分けて比べています。
動画は、見ていない時間を埋めないこと
Amazon Novaの公式資料には、動画からフレームを抽出し、長さに応じて扱い方を変える説明があります。動画対応という表示だけでは、すべての瞬間を元の細かさで確認するとは言えません。音声の処理有無や、対応形式・長さ・容量の条件もサービスごとに確かめます。
「00:10では扉が閉じ、00:12では開いている」という2枚だけを渡す例です（想定例）。分かるのは、その2時点の状態の違いです。間の動作や開けた人、音は確定できません。必要なら前後を含む元動画と音声を確認します。カメラに映っていない場所の出来事は、追加映像や記録がなければ不明です。反対に、画像や動画をAIに作らせる側の選び方は、画像・動画生成AIを仕事で選ぶ方法で比べています。
製品・添付経路によって変わる、文字・画像・音声の扱い
扱える種類も、サービスが入力を加工する方法も異なります。例えば、OpenAIのPDF入力とAmazon Novaの動画入力では、文字や画像を取り出す方法がそれぞれ説明されています。
PDFの文字データと、ページの見た目
文字データを含むものを「文字PDF」、ページを画像だけで保存したものを「画像PDF」と呼びます。画像の文字を認識して文字データにする処理がOCRです。Adobe Acrobatの説明のように、スキャン後にOCRで検索できる文字層を付けたPDFもあります。
OpenAI APIの視覚対応モデルへのPDF入力は、抽出した文字とページ画像の両方を利用します。一方、ChatGPT EnterpriseのPDF視覚検索では、会話への添付とGPTの知識・プロジェクトファイルへの保存とで処理範囲が異なります。同じPDFでも、使う製品・契約・渡し方の確認が必要です。
文字の抽出と図表の読解は併用できます。文字列だけで足りるのか、行列や図の位置関係まで必要なのかを見て、使う機能を選びます。
入力から取り出す情報と、回答を確かめる場所の分類。
音声・動画から取り出す情報
音声では「何と言ったか」という文字起こし、「誰がいつ話したか」という話者区分、「何が決まったか」という意味の整理を分けます。OpenAIの音声認識仕様にも、話者区分に対応する機能が記載されています。
動画では、映像のコマに当たるフレームと時刻、音声を処理する範囲を調べます。Amazon Novaの動画仕様では映像からフレームを取り出す方法が説明されています。映像と音声を一度に扱うサービスでも、結果の点検は別々です。
値を取り出したら、原文の位置と版に戻る
まず、使ってよい資料かを確かめ、対象ファイル・版・ページまたは時間帯・取り出す項目を決めます。機密情報や他者の録音を扱う場合は、社内ルールとサービスの保存・利用条件も先に確認してください。次に、抽出値に根拠位置を付け、不明なところを埋めないよう指示します。例えば、次のように依頼できます。
添付した備品表v2の1ページから、配送先・品目・数量・単位・金額を表にしてください。各値の根拠位置も残してください。脚注は別欄に記録し、読めない値は空欄、状態は「判読不能」としてください。推測で補わず、要約や発注判断はまだ行わないでください。
その後、合計を再計算し、重要な数字・日時・注記を原本と照合します。説明例のv2は12冊×500円、20本×150円、10冊×200円で合計11,000円です。ただし、合計が合うだけでは行同士の入れ替えを見逃すため、品目との対応も確認します。
さらに、旧版v1ではノートAが10冊、合計10,000円、納入日は9月17日です。現行版v2では12冊、11,000円、9月18日に変わっています。旧版を正確に読めても、現在の発注には使えません。古いPDFだけしかない場合は、作成者や保管先から最新版・改訂履歴を取り寄せるまで確定を止めます。
表1 入力別に、何を原資料と照合するか
| 入力形式 | 処理される内容 | 欠けやすい情報 | 照らし合わせる原データ |
|---|---|---|---|
| 文字PDF | 抽出文字。対応経路ではページ画像も | 読み順、表の対応、注記、版 | 該当ページと作成元・改訂履歴 |
| 画像PDF・写真 | 文字の認識と画像の読解 | 小さい文字、回転、ぼけ | 原画像・原本、再撮影データ |
| 図表画像 | 数値と配置・軸・凡例 | 結合セル、単位、行列の対応 | 表全体、脚注、元の数値表 |
| 音声 | 発言内容、対応時は話者・時刻 | 数字、固有名詞、同時発話 | 該当音声、議題資料、承認記録 |
| 動画 | 抽出フレーム・時刻、対応時は音声 | 抽出間隔の間、画面外、短い動き | 前後を含む元動画・元音声 |
表は、これまでに挙げた公式仕様をもとに、照らし合わせる先を整理したものです。比較するときは同じ内容・版・質問を使い、製品名、モデル、契約、入力経路、確認日を記録します。記入票には、別処理へ切り替える条件や未確認事項を残す欄も用意しました。
読めないときは、元資料の取り方を変える
任せ方は、間違いを見つけて戻せるかで決めます。概要の下書きや、読む場所を探す補助から使い、金額・日時・承認状態の確定は原資料との照合を条件にします。画像しかなく判読できないなら再取得、数値表があるなら元データで計算する、と入口を変えます。
判読不能は空欄のままにし、「未記入」「対象外」「未確認」と区別して理由を残します。人が原本と照らし合わせる前に登録済み扱いにせず、修正した値と根拠位置も残してください。原資料が不足しているときは、「まだ確定できない」が適切な結果です。
まず手元の資料一つで、必要な項目を抽出させ、元のページや音声の該当箇所と照合してみてください。備品表なら、11,000円という合計だけでなく、各品目の数量と「税抜・送料別」まで残っているかを確かめます。
照合に使う表：判断表・記入票（Excel）。空欄票と記入済み見本を含みます。
生成AIの仕組みや用途を広く知りたい方は、生成AIの現在・仕組み・未来ガイドをご覧ください。紙資料の読み取りから、原本との照合・確認済みデータの出力までのシステム化は、次のページで相談対象を確認できます。
紙の帳票から台帳へ値を移す用途なら、項目ごとの読取りと訂正時間まで測る試用例を使えます（AI-OCRの選び方｜読取りミスと訂正時間を比べる）。
参考出典
仕様確認日：2026年9月15日。
あわせて読む
「働く人の40%がAIを利用」、根拠は企業の数だった。AIの回答と出典の確かめ方
リンク先は実在するか、書かれている内容は回答を支えるか。企業の導入率、古い仕様、見つからない出典の3例で、対象と日付をたどります。仕事で使う前の点検を記録できるExcel照合票付き。
一字も間違えずに読めたのに登録できない。AI-OCRは訂正の時間で選ぶ
印字、かすれ、セル結合、手書き追記のある帳票を使い、項目ごとの読取り結果を採点します。確認・訂正・台帳登録まで同じ条件で測ると、導入後の仕事が見えます。試用帳票と空欄の採点表を配布。