規程を変えたのに、社内検索AIは古い期限を答える。資料の更新・廃止・権限の整え方

たとえば、経費精算の期限を「10営業日以内」から「原則5営業日以内」へ変えたのに、社内検索AIは古い期限を答える。手順書を保存し直しただけでは、AIの回答まで変わったとは限りません。

社内手順書で考えます（想定例）。

資料に加えた変更	AIの回答で確かめること
経費精算手順書をv2からv3へ更新	旧版の10営業日以内ではなく、原則5営業日以内と例外の案内を答える
備品購入手順書v1を廃止	古い手順を答えない。後継資料がないため、推測せず総務へ問い合わせるよう案内する
勤怠訂正手順書v2を人事担当だけに制限	人事には回答と引用を示す。それ以外の社員には題名・内容・引用を出さない

正式に使う資料の場所、更新日、管理する人、見られる人を決め、その内容を確かめる質問も残します。資料を変えた後、同じ質問で回答を比べます。

見つからない、古い、読めない。困り方から調べる

RAGを使う社内検索AIは、資料を探し、その内容を使って文章で答えます。NISTの用語集でも、情報検索と生成AIを組み合わせる方式と定義されています。必要な資料を探す段階と、見つけた内容から答える段階を分けて考えると、確認する場所が見えてきます。社内検索にそもそもAIが必要かは、既存の検索・Copilot・独自の資料検索の比べ方で先に判断できます。

見つからない場合は、その資料が検索対象に含まれるか、文字を読み取れているかを確かめます。社内の略称と文書内の呼び名が違うために見つからないことも、調べる候補になります。

古い資料が出る場合は、元資料と旧版の区別、検索側への更新状況を見ます。表や画像を読み違える場合は、原文の見出し、項目名、単位、注記が、AIへ渡る内容にも残っているかを見ます。

閲覧権限がない場合は、表示されないこと自体が正しい動作かもしれません。許可された人にも見えないのか、許可されていない人に見えるのかを分けます。検索できるようにするためだけに、公開範囲を広げてはいけません。

文書が少なくても、図表が多い、毎日改訂する、部署ごとに閲覧範囲が違うといった条件なら、運用に手当てが必要です。件数だけで「簡単な構成で十分」とは決めず、資料形式、利用者、更新頻度、質問内容をそろえて検討します。

元資料の場所と、更新する担当者

最初は、探す頻度が高くて形式のそろった文書群を一つ選びます。経費精算や勤怠訂正など、担当部署に正しい答えを聞ける手順書から始めると、資料と回答を照合しやすくなります。

同じ資料がメールや個人フォルダにもある場合は、正式に参照する元資料を決めます。すべてを一つの保存先へ移す必要はありません。台帳から元資料にたどれ、管理担当が分かり、同名の複製を元資料と取り違えない状態にします。文書IDは同じ資料を追う番号、版は改訂を区別する番号として使います。人が探す社内ポータルでも、正式な保存先と更新担当を決める点は同じです（社内ポータルの手順書と更新担当の整理）。

社内手順書の記入見本

冒頭の3件を台帳に記入します。変更日は2026年9月15日です。検索AIを試す前の記入例なので、結果の欄は「未実施」としています。

経費精算の台帳では、新版v3だけでなく、旧版v2を検索対象から外したかも追います。廃止と権限変更の見本では、それぞれ異なる期待結果を記しています。

経費精算手順書を新版に更新する場合

項目	記入例
文書ID	DOC-001
資料名	経費精算手順書
元資料の場所	社内ポータル／経理／経費精算
版	v3（旧版v2から更新）
管理担当	経理担当
改訂日	2026-09-15
閲覧範囲	全社員
有効期限	2027-03-31
検索への反映確認	未実施
検索対象からの除外確認	未実施（旧版v2の検索対象除外）
評価質問	社員が「精算の期限は？」と質問。v3の「原則5営業日以内」と例外の案内を示し、v2の「10営業日以内」を現行手順として答えない。

例2　備品購入手順書を廃止する：台帳の記入例

項目	記入例
文書ID	DOC-002
資料名	備品購入手順書
元資料の場所	社内ポータル／総務／廃止資料
版	v1（2026-09-15廃止）
管理担当	総務担当
改訂日	2026-09-01
閲覧範囲	総務担当（保存用）
有効期限	2026-09-14
検索への反映確認	未実施
検索対象からの除外確認	未実施（v1全体の検索対象除外）
評価質問	社員が「備品の購入方法は？」と質問。廃止したv1の手順を答えない。後継資料が検索対象にない想定なので、手順を推測せず総務へ問い合わせるよう案内する。

例3　勤怠訂正手順書の閲覧範囲を変える：台帳の記入例

項目	記入例
文書ID	DOC-003
資料名	勤怠訂正手順書（人事担当向け）
元資料の場所	社内ポータル／人事／勤怠訂正
版	v2（本文は変更なし）
管理担当	人事担当
改訂日	2026-08-01
閲覧範囲	人事担当のみ（2026-09-15に全社員から変更）
有効期限	2027-03-31
検索への反映確認	未実施
検索対象からの除外確認	対象外（除外する資料なし）
評価質問	「勤怠の訂正方法は？」と質問。人事担当にはv2に基づく回答と引用を示す。人事以外には、この文書の題名・内容・引用を出さず、人事へ問い合わせるよう案内する。

資料台帳の入力用と記入見本は、資料台帳をダウンロードして使えます。有効期限は社内で決めた適用期限を記録する欄です。期限を設けない資料は「期限なし」とし、管理担当が改訂時に見直します。

旧版を保存する必要がある場合も、現在の手順を答える検索対象とは分けます。台帳の「検索対象からの除外確認」は、検索用に取り込んだ旧版や廃止資料が除外されたかを記録する欄です。元ファイルを残すかは、社内の保管ルールに従って判断します。

期限の数字と例外の案内を、ひとまとまりに

長い文書を小さく分けて検索する構成では、切れ目によって意味が変わらないかを見ます。文章の途中、表の途中、手順と注意書きの間で切ると、答えに必要な条件が落ちることがあります。

たとえば、先ほどの経費精算手順書に「原則5営業日以内に申請。ただし、領収書の再発行待ちは経理へ相談」とある場合です。「5営業日以内」の一文だけを取得すると、再発行待ちの社員への案内が欠けます。期限と例外を同じまとまりで取得できるかを試します。

表は項目名・単位・対象期間を値と一緒に残し、図や画像には何を説明しているか分かる文章を添えます。画像から文字を読み取る場合も、読み取り後の内容を原文と比べてください。資料を直しても、検索で必要な箇所を取得できなければ、検索方法の見直しが残ります。

保存し直した後に、検索と回答を試す

資料の変更は、元ファイルの保存で終わりにしません。AIが参照する検索用の一覧にも、変更が反映される必要があります。MicrosoftのAzure AI Searchの権限管理資料では、保存された権限情報を使って検索結果を絞る方式について、元の権限変更が検索側へ同期される必要があると説明しています。この資料にはプレビュー機能が含まれます（2026年9月15日時点）。

同社のAzure Storageを対象とする削除検知の資料も、更新検知と削除検知を区別しています。元ファイルを削除しても検索側に残る場合があり、複数の検索用データへ分割する構成では削除方法にも制約があります。反映方法と待ち時間は、実際に使う製品・連携方式で試してください。

図1　元資料の変更と、検索・回答への反映を分けて試す。

更新した場合は、台帳の質問で新版が検索され、回答と引用先も新版になっているかを見ます。廃止した場合は、元資料から作った検索用のデータも含め、古い手順が回答や引用に残っていないか見ます。

閲覧範囲を狭めた場合は、許可された人と許可されていない人の両方で試します。例3なら、人事担当には必要な手順が出て、人事以外には文書の題名・内容・引用が出ないことが期待結果です。管理者の画面だけで終えず、通常の利用者として確かめ、引用リンクを直接開いたときの権限も試します。

検索用データの反映状況を管理画面などで見て、利用者としての質問でも確かめます。一度答えに出なかっただけでは、検索対象から除外できた証明にはなりません。過去の回答を再利用する機能がある場合は、保存済みの回答にも変更が反映されるか、消去や再作成が必要かを調べます。

まだ試していなければ、試す担当者と日時を決めます。古い回答が出た場合は、資料の変更が検索側へ届いているかを調べます。権限を外した人にも内容が出る場合は、その資料を使う検索を止め、権限設定と検索側への反映を管理担当者が調べます。台帳には、見つかった問題と次に行う作業を残してください。

廃止・権限制限の対象資料は、反映を確かめるまでAI検索での利用を止めます。資料単位で止められない場合は、関係する検索機能を一時停止し、管理担当へ相談します。新版も、試し終えるまでは利用可能と記録しません。

資料が見つかったか、その内容を正しく答えたか

台帳ができたら、質問・利用者・参照する版・期待する結果を決めて試します。まず必要な資料や該当箇所を取得できたか、次にその内容から条件を落とさず答えたかを見ます。必要な箇所を取得できていないなら、資料の読み取りや検索方法を見直します。取得できても回答を誤るなら、回答の作り方やAIモデルが次に見直す対象です。出典が表示されていても、別の版や関係のない箇所を引用していれば修正が必要です。

MicrosoftのRAG評価資料も、検索段階の評価と最終的な回答の評価を分けています。同社製品の評価機能の説明なので、既定の合格点とは別に、自社の合格条件を決めます。質問や資料の版を固定した評価の進め方は、RAGの評価方法｜資料どおりでも足りない答えを探すで説明しています。

Lightblueが公表した清水建設の事例では、建設技術文書を対象に、若手向け社内テストで評価したと説明されています。当初の他社システムでの正答率は約35%。ページ単位の分割、画像処理、検索用の整理と参照方法の改善を経て、最終的に93%になったという公表値です。

問題数や、同じ条件で各施策を単独比較した結果は記載されていません。この数値から、資料整理だけの効果や、自社で達成できる正答率は判断できません。参考にするのは、困り方を分けて複数の箇所を調整した進め方です。

最初は、よく使う手順書を一つ選び、正式な保存先・管理する人・見られる人を台帳へ記入します。その資料について質問を作り、更新・廃止・権限変更の後にも同じ問いで確かめます。対象資料や利用条件の整理から相談したい場合は、AI業務改善診断をご利用ください。

AI業務改善診断を見る

参考出典

• NIST「retrieval-augmented generation」。用語ページの発行日記載なし、参照版 NIST AI 100-2e2025。確認日：2026-09-15。該当箇所：Definitions。RAGの定義に使用し、整理の効果を示す根拠には使用していません。
• Microsoft「Retrieval-Augmented Generation (RAG) evaluators」。更新日：2026-06-02、現行Web版、一部プレビュー。確認日：2026-09-15。該当箇所：Process evaluation、System evaluation。検索と回答の評価を分ける説明に使用しています。
• Microsoft「Document-level access control in Azure AI Search」。更新日：2026-08-12、2026-08-01-previewの説明を含む。確認日：2026-09-15。該当箇所：Enforce document-level permissions at query time。対象方式の権限同期に使用し、全製品共通の仕様とはしていません。
• Microsoft「Change and delete detection using indexers for Azure Storage in Azure AI Search」。更新日：2026-06-02、現行Web版。確認日：2026-09-15。該当箇所：冒頭の変更・削除検知、Limitations。Azure Storage連携の削除反映と制約に使用しています。
• Lightblue「精度35%が93%に、社内情報をRAGでフル活用｜清水建設が挑む生成AI変革」。公開日：2024-11-21。確認日：2026-09-15。該当箇所：建設技術文書のRAG化プロジェクト。導入支援企業が公表した特定評価の事例であり、NeoLogicの実績や一般的な改善率ではありません。