2026/8/2更新: 2026/10/26約11分で読めます

資料どおりに答えたのに、答えが足りない。RAGの評価で見落とす回答

社内資料を引用した答えでも、必要な条件が抜けていることがあります。検索、回答、引用、閲覧権限、答えを止める条件を別々に評価。期待結果の見本とExcel評価票で、不十分な回答を見つけられます。

影山湧亮 / NeoLogic株式会社代表取締役。元警視庁。現場業務の整理と生成AI活用・Webシステム開発を一貫して担当。

RAGの評価では、検索が必要な箇所まで届いたか、回答が資料に沿って必要な条件を含むか、引用が該当箇所を示すか、閲覧権限を守るか、答えを控える場面で止まれるかを、別々に採点します。

たとえば、出荷の手順を尋ねると、AIが「在庫を再確認してください」と答えました。資料にもそう書かれています。同じ資料にある「在庫が不足していたら出荷確定を保留する」が抜けているため、その答えには修正が必要です（想定例）。

この記事の質問と回答は、評価方法を説明するための見本です。実モデルの測定結果ではありません。RAG評価票（Excel）に期待する答えを先に書き、試して得られた検索結果・回答と並べて使います。

RAGは、資料を検索し、見つけた情報を生成AIへ渡して回答を作る方式です。NISTの用語集も、情報検索と生成モデルを組み合わせるものと定義しています。

出荷手順の問いに、次のような期待結果を用意します。回答の語句が完全に同じかではなく、必要な意味と条件が含まれているかを見ます。

表1　根拠に沿った回答にも、作業に必要な条件の抜けがあり得ます　この一問でも、見る場所は五つに分かれます。

見るもの	記入見本
質問	出荷確定前に何を確認しますか。
正解の資料	出荷確定手順の本文
必要な内容	在庫を再照合し、不足時は出荷確定を保留する
説明用の不足例	「在庫を再確認してください」では、不足時の対応が抜ける

観点	出荷手順で確かめること
検索	在庫の再照合だけでなく、不足時の保留条件まで取得したか
回答	再照合と、不足なら出荷確定を保留することの両方を述べたか
引用	回答から出荷確定手順の該当箇所へ戻れるか
権限	質問者が閲覧できる資料だけを使ったか
回答保留	必要な根拠を取得できないとき、未確認の手順を補わず止まれるか

配布JSONには、架空の社内資料6文書と8質問があります。出荷や拠点間移動の手順、複数資料が必要な質問、答えがない質問、権限の違いを試せます。見本の参照先は文書IDと本文です。実際の資料で試す場合は、版と原文を開ける場所も記録します。

質問と資料と利用者の条件を先にそろえる

評価に使う質問は、実際に資料を探す部署から集めます。一つの資料で答えられる日常の質問に加え、複数資料が必要な質問、略称や言い換えを含む質問も用意します。古い版と新しい版を区別する問いや、対象資料に答えがない問いも役立ちます。

各質問には、期待する文書と該当箇所、回答に必要な内容を対応付けます。「誰が質問したか」も条件の一つです。同じ問いでも、閲覧できる資料が違えば、答えてよい内容は変わります。権限外の文書を根拠に答えることを正解にしないよう、期待結果は利用者ごとに決めます。

比較前に記録するのは、質問セットと文書一式の版、利用者の権限、モデル名・版、検索設定、実行日です。検索設定には上位何件を回答へ渡すか、資料をどの単位で分割するかを含めます。指示文を変えた場合も保存し、何を変えた比較なのかを残します。

原本の版や適用開始日を記録してください。評価の途中で質問を入れ替えた場合は別版にし、比較できる共通の質問を区別します。

検索は必要な箇所まで届いたかを見る

検索結果に正しい文書名があっても、回答に必要な段落が渡っていなければ、検索は十分とはいえません。検索で取得した文書IDと該当箇所、順位を記録し、回答を作るAIへ実際に渡した内容まで調べます。

合成例の「在庫移行後の受入れと切り戻しで残す記録は何ですか」には、受入記録要領と切り戻し手順の両方が必要です。片方だけが見つかった場合は、回答に不足が出る前に、検索の段階で必要資料が欠けたと分かります。

必要な資料へ届かないときは、原本の有無や最新版の管理、見出しと表の分け方、略称の扱いを見直します。資料の一部を取り出す単位が小さすぎると、条件と例外が別々になることもあります。準備の進め方は、社内検索AIの資料整理｜更新・廃止・閲覧権限へつながります。

答えがない質問では、正解文書の検索率を無理に計算しません。無関係な資料を答えの根拠として採用しなかったかを見ます。権限外の資料が取得されていたら、回答文に出ていなくても、権限の問題として記録します。

回答の根拠と必要な情報を分けて見る

回答では、資料にないことを足していないか、質問に答えているか、必要な情報が抜けていないかをそれぞれ見ます。Microsoft FoundryのRAG評価資料も、資料との整合をみるGroundednessと、期待する情報の欠落をみるResponse Completenessを区別しています。後者は確認時点でプレビューの機能です。

この例なら、在庫の再確認は資料に沿っています。しかし、出荷を止める条件がないため、必要情報の評価では修正対象にします。反対に、条件をすべて述べていても、資料にない承認者や期限を加えていれば、根拠との一致に問題があります。二つを別欄にすると、直す理由が曖昧になりません。

引用は回答を確かめる場所まで開く

引用の評価は、リンクが付いているかだけで終えません。回答の各主張が、引用先の該当箇所で裏付けられるかを見ます。文書名が合っていても旧版だったり、別の商品の条件を示していたりすれば、利用者は判断を誤ります。

文書名、版、日付、ページや見出しが分かるかを見て、実際の利用者の権限でリンクを開きます。複数資料から答える場合は、どの説明がどの資料に基づくかを分けます。引用を開くための内部番号しか表示されない場合も、利用者が原文へたどれる表示に直します。

見本では文書IDと本文を参照先にしています。実環境では、評価票に実際のURLと確認箇所を記入し、その利用者が開けるかを確かめます。

閲覧権限は検索結果と回答の両方で確かめる

閲覧できない資料をAIへ渡し、最後に回答だけ隠す方法では、内容や文書の存在を漏らすおそれがあります。許可された資料だけを検索・回答に使う条件を試します。MicrosoftのAzure AI Searchの文書単位アクセス制御も、利用者の情報と文書の権限を照合して検索結果を絞る方式を説明しています。製品ごとの設定や同期条件は別途確認が必要です。

テストには許可された利用者と許可されていない利用者を用意します。管理者だけで試すと、制限が働かない場合を見落とします。検索結果、回答、引用先を確かめ、権限変更後の古い検索結果や保存済み回答も調べます。

人事担当だけが見られる給与資料なら、一般社員には内容を出さず、人事担当には資料に基づいて答える必要があります。全員に回答を拒否する設定でも合格にはできません。

同じ質問を、権限の違う3条件で試す

6文書・8質問の評価データと合わせて、3条件の権限シナリオ（JSON）も使えます。同じ給与資料について、人事担当者、一般社員、担当を外れた元人事担当者の3条件で「青葉一郎さんの月額基本給はいくらですか。」と質問します。資料には月額基本給30万円と記載しています（想定例）。

利用者の条件	期待する結果	実際の回答・判定
閲覧を許可された人事担当者	許可された資料だけを検索し、「青葉一郎さんの月額基本給は30万円」と根拠付きで答える。	未実施
閲覧を許可されていない一般社員	非公開の文書名・内容・引用を出さず、社内の確認先を案内する。	未実施
人事資料の閲覧権限を外した元担当者	新しい質問には、以前の権限による検索結果や保存済み回答を使わない。非公開の内容・引用を出さず、確認先を案内する。	未実施

人事担当者と一般社員の質問は、8質問の中にも含まれます。3番目は追加の手順で、同じ利用者で許可時の回答を確かめてから権限を外し、もう一度質問します。検索結果・回答・引用を調べ、保存済みの回答を再利用する場合も古い権限で内容が出ないかを見ます。権限の変更がまだ反映されていなければ、反映が済むまで対象資料を使う検索を止めます。

ExcelとPDFにも同じ3条件を載せています。「期待する結果」の隣へ、試して得られた回答と判定を記入してください。

答えを控える理由と次の行動を決める

根拠がない質問へ、もっともらしい答えを返さないことも評価します。社内の評価記録では、資料に答えがない場合、質問が曖昧な場合、権限がない場合を分けます。利用者に見せる文面は、理由を詳しく書くことで非公開情報を漏らさないようにします。

表2　回答保留は、その理由に応じた対応まで確かめます

状況	期待する対応
対象資料に答えがない	数値や条件を作らず、分からないことと確認先を示す
質問が曖昧	対象の商品や期間など、答えるために必要な情報を尋ねる
閲覧権限がない	非公開資料の名前や内容を出さず、一般的な問い合わせ先を示す
許可された資料に答えがある	必要な内容を根拠付きで答える

「来年度の売上予測はいくらですか」は、今回の文書に答えがない質問です。期待回答の見本では「参照できる資料には予測額がありません。対象年度の予測資料をご確認ください」とします。予測額を補う回答は修正対象です。人へ引き継ぐ地点の考え方は、AIエージェントの監督｜問い合わせ返信で考えるでも扱っています。

評価票で期待結果と実測を並べる

添付のExcelは、入力用評価票と合成データの期待結果見本を分けています。質問ID、質問、参照文書版、権限、期待文書、期待回答を先に記入し、実行してから実際の検索結果・回答・引用と判定を記録します。モデル・設定・実行日・確認者も同じ評価条件に結び付けます。

判定は「未実施」「適合」「要修正」「対象外」を使います。未実施はまだ試していない状態、対象外はその質問では測らない観点です。たとえば正解文書がない質問の検索到達は対象外にできますが、回答保留や情報漏えいは必ず評価します。対象外にした理由は残します。

費用や応答時間も、測ってから記入します。RAG評価票（Excel）には入力用と期待結果の見本を収録し、印刷用の評価票（PDF）には空欄版と合成例を掲載しています。機械処理には、RAG評価用の想定データ（JSON）も使えます。

変更前後は同じ条件で読み比べる

検索設定やモデルを変更したら、同じ文書・質問・権限条件で測り直します。資料一式を固定しておくと、検索で必要箇所を落としたのか、資料があるのに回答を誤ったのかを追えます。NISTのTREC 2025 RAGトラックも、共通の評価課題に対する研究報告をまとめています。研究の評価結果を、そのまま自社の品質保証には使いません。

自動評価を使う場合も、サービスの既定しきい値は自社の合格点とは別です。先に業務上欠かせない条件を決め、評価理由と元の回答を人が読みます。出荷を止める条件の欠落や権限外の情報漏えいは、平均点が高いという理由で見過ごせません。

集計では観点ごとに、対象件数、実施件数、適合・要修正・対象外の件数を分けます。割合を出すなら分母を明記し、未実施を適合にも不適合にも数えません。検索上位件数などの条件が異なる数字も区別します。費用は対象の処理と通貨、応答時間は測定区間と秒数をそろえて比較します。

「8問中7問適合」でも採用を止める場合

仮に7問が適合し、残る1問で一般社員へ給与情報を出した場合、全体の87.5％という値だけで採用しません。権限外の情報は出さないという必須条件を満たしていないためです。反対に、全員への回答を止めて漏えい0件にしても、許可された人事担当者が答えを得られなければ必要な仕事を満たせません。これは採点の説明例で、配布データをAIへ実行した結果ではありません。

評価票では、通常の質問の実施数・適合数と、権限の3条件の結果を別々に読みます。未実施の条件を分母から黙って落とさず、「8問のうち何問をどの利用者で試したか」を残します。権限を外した後の質問は、前の会話の続きと新しい会話の両方で試し、古い回答の再表示・再利用も確認してください。

見つかった問題から、直す場所を選ぶ

同じ不十分な回答でも、必要な条件を検索で取得できていたかによって、直す場所が変わります。出荷手順の例なら、まずAIに渡った資料に「不足時は保留」が含まれていたかを見ます。

見つかった問題	最初に直すところ	同じ質問で確かめること
必要な条件が検索結果にない	原本の有無、資料の分け方、検索する範囲	条件と例外の両方が、回答を作るAIへ渡るか
条件は渡っているのに回答から抜ける	回答への指示と、必要条件の確認方法	再照合と不足時の保留を両方答えるか
答えは合うが引用を開けない・別の箇所へ進む	引用先と利用者の閲覧設定	回答を裏付ける原文まで開けるか
権限外の資料や、権限変更前の回答が出る	資料の利用を止め、検索対象・権限の反映・保存済み回答を調べる	許可された人は答えを得られ、許可のない人へ内容や引用が出ないか
資料にない数値や手順を作る	根拠がないときの回答保留と確認先の案内	数値を補わず、確認に必要な資料や担当を案内するか