SECTION 01
正しい内容と、答えられない範囲を決める
試す質問を一つ選び、元資料を読んで期待する回答を書きます。資料に答えがない部分は、何が分からないと伝えるべきかも残します。
回答の言い回しが違っても、必要な内容が合っていれば問題ありません。一方、元資料へのリンクがあっても、回答中の期限や条件まで裏付けられているとは限りません。該当箇所を開いて確かめます。
INSIGHTS / AI活用
RAGの回答を確かめる｜質問ごとに残す5つの欄
社内資料を使うAIの回答を、元資料と比べて確認する記入式シートです。質問、期待する回答、実際の回答、根拠、違いを残し、修正後に同じ質問で確かめる手順を紹介します。
SECTION 02
コピーして使う5つの欄
質問ごとに次の5欄を埋めます。実際の回答は、確認する前に書き換えず、そのまま残してください。
- 質問：［AIに入力した文］
- 期待する回答：［答えてほしい内容／答えられない範囲］
- 実際の回答：［試した日と回答文］
- 根拠：［資料名・版・該当箇所／AIが示した参照先］
- 違いと次の確認：［足りない内容・余計な内容／担当者に確かめること］
SECTION 03
記入例：備品の返却期限を尋ねる
架空の貸出手順を使った例です。資料には「返却先は総務」とだけ書かれ、返却期限の記載はないものとします。
- 質問：借りた備品は、いつまでにどこへ返しますか。
- 期待する回答：返却先は総務。返却期限は資料では確認できない。
- 実際の回答：初回確認時「翌営業日までに総務へ返してください」。
- 根拠：貸出手順・第1版の「返却先」。AIも同じ箇所を参照先として表示。
- 違いと次の確認：「翌営業日まで」は資料にない。総務に期限の決まりがあるか確認する。
SECTION 04
直した後も同じ質問で確かめる
この例では、AIの答えをそのまま社内ルールにしません。期限の決まりがあるなら資料の担当者に追記を相談し、ないなら期限を補わない回答を期待値にします。
資料や回答の仕組みを直したら、同じ質問をもう一度入力し、新しい回答を前の記録に並べます。一件直ったことだけで、すべての回答が正しいとは判断せず、別の質問も個別に確かめます。
GAMIでは、社内AIが答える範囲、参照元の示し方、答えを保留する条件の設計を支援しています。