社内AIやRAGを導入したものの、「回答の精度が上がらない」「必要な情報を拾ってくれない」と感じている企業は多いです。最新のAIモデルを利用しても、プロンプトを工夫しても改善がない場合、AIそのものではなく、AIに渡しているデータに原因があるかもしれません。
この記事は、精度を左右するデータ設計を、ノイズ・構造・粒度・鮮度・検証の５つの原則に分けて解説します。
モデルを変えても回答精度が上がらない理由
モデルやプロンプトを変えても解決しないのは、RAGや社内AIチャットボットは「渡されたデータの中から関連しそうな箇所を探し、それをもとに回答を組み立てる」という仕組みだからです。
参照元のデータが以下のような状態になっていると、AIが正しく情報を拾えない可能性があります。
- 同じ内容の文書が複数存在する
- 部署ごとに文書の形式が異なる
- 1つのファイルに情報を詰め込みすぎている
- 1つの情報が細かく複数ファイルに分断されている
- 古いデータと新しいデータが混在している
AIの回答精度を高めるには、AIにあたえる不要な情報を削る「ノイズ除去」、フォーマットを揃える「構造化」、文書の分割方法を決める「粒度（チャンキング）設計」、情報を最新に保つ「鮮度管理」、そして改善効果を確認する「検証」という5つの視点で考えましょう。
原則1:古い文書や重複データを削除する
結論から言うと、ナレッジベースに情報を増やすほど回答精度が上がる、とは限りません。むしろ古い文書や重複した情報が残っていると、AIの回答はかえって不安定になります。
ここでいう「ノイズ」とは、AIが参照する文書の中に混在する誤りや矛盾、重複、古い情報など、回答の妨げになるデータのことです。
人間であれば「このマニュアルは2021年版だから2025年版を優先しよう」と自然に判断できますが、AIは基本的に渡された情報を等しく「参照すべき対象」として 扱います。
同じフォルダに新旧のマニュアルが両方残っていれば、AIはどちらの記述を優先すべきか判断できず、質問のたびに違う内容を答えてしまうことがあります。
実務でよくあるのは、社内ナレッジベースに退職者が作成した古いマニュアルや、更新前の規程が残ったままになっているケースです。担当者が変わるたびに文書が増える一方で、古いものが削除されず蓄積していきます。
こうした状態のまま社内AIチャットボットを稼働させると、質問内容によって回答の精度にばらつきが出ます。
実務での対応としては、まず情報を「増やす」前に「減らす」ことを検討してください。四半期に一度など定期的にナレッジベースを棚卸しし、重複する文書やすでに役目を終えた文書を削除・アーカイブする運用をルール化するだけでも、AIチャットボットの回答精度は変わってきます。
原則2:文書のフォーマットを統一する
部署やチームごとに文書のフォーマットがバラバラだと、AIは情報の構造をうまく読み取れず、回答精度が落ちます。ここでいう「構造」とは、文書の形式や文書内での情報の並び順など、文書の骨格にあたる部分を指します。
営業部はNotion、総務部はWord、開発チームはMarkdownといったように使うツールが部署ごとに異なると、見出しの粒度や箇条書きの書式、表記も自然とバラバラになります。
人間が読む分にはさほど支障がなくても、AIにとっては話が変わります。どこが本文でどこが補足情報なのか、構造情報から判断できなくなるためです。
「人間にとって読める」文書と「AIにとって使いやすい」文書は、似ているようで別のものだと理解しておく必要があります。
例えば同じ「申請手順」について書かれた文書でも、ある部署は番号付きリストで書き、別の部署は文章で説明しているとします。この場合、AIチャットボットに「申請の手順を教えて」と聞いても、参照する文書によって回答の粒度や順序が変わってしまうことがあります。
実務では、全社で完璧に統一する必要はありません。見出しの階層を2〜3段階に揃える、箇条書きの書式を1つに決める、といった最低限のルールを決めるだけでも、AIが情報を拾う精度は変わります。
まずは新規に作成する文書だけでもテンプレートを用意し、少しずつ既存文書を揃えていくやり方が現実的です。
原則3:チャンクは意味のまとまりで区切る
同じ文書でも、どの単位で区切るか（チャンキング）で回答の精度は大きく変わります。粒度とは、AIチャットボットに渡すためのひとまとまりのサイズのことで、専門的には「チャンク」、その分割作業を「チャンキング」と呼びます。
RAGの仕組みでは質問に関連しそうなチャンク単位で文書を検索し、そのチャンクをもとに回答を生成します。つまりチャンクの切り方そのものが検索結果の質、ひいては回答精度に直結します。
なぜ粒度が重要なのでしょうか。100ページのマニュアルPDFをそのまま1つのチャンクとして渡すと、質問と関係のない情報まで一緒についてきてしまい、AIは的確な部分に注目できません。
逆に一文単位まで細かく分割しすぎると、今度は前後の文脈が失われ、断片的な情報しか渡せなくなります。どちらの場合も、AIは正しい回答を組み立てにくくなります。
実務でよくあるのは、「とりあえずPDFをそのままアップロードする」運用です。この場合、質問に関係の薄い章まで一緒に参照されてしまい、回答が冗長になったり的外れになったりしがちです。
逆に見出しごとに細かく分割しすぎた結果、前提条件の記載だけが抜け落ち、誤った回答が生成されるケースもあります。
実務での目安としては、見出し単位（1つのセクションやFAQ1件など、意味のまとまりが保たれる範囲）でチャンクを区切るところから始めるのが無難です。唯一の正解サイズがあるわけではないため、粒度を変えて回答精度を比較しながら、自社のドキュメントに合ったサイズを探っていくプロセスが必要になります。
原則4:ナレッジベースの情報は定期的に更新する
データは一度AIに読み込ませて終わりではありません。更新の仕組みを作らなければ、ナレッジベースは時間とともに劣化し、回答精度も少しずつ低下していきます。
ここでの「鮮度」とは、ナレッジベース内の情報が現在の実態と一致しているかどうかを指します。
なぜ鮮度が落ちると精度が下がるのでしょうか。文書を追加するたびに、古い情報と新しい情報が少しずつ混在していきます。
担当者が変わり、規程が更新され、ツールの仕様が変わっても元の文書が更新されないままナレッジベースに残り続けると、AI自身もどちらの情報が正しいのか判断できなくなります。しかも精度の低下はある日突然起きるわけではなく、こうした小さなズレの積み重ねとして進行するため、気づいたときにはかなり進んでいることも珍しくありません。
実務でよくある失敗は、「AIチャットボットを導入した初期に読み込ませた文書」がそのまま更新されず放置されるケースです。半年後、組織変更や制度改定があってもAIは初期状態の情報をもとに回答し続けます。
利用者からすれば「AIの回答が古い」という不満につながり、結果としてAIチャットボット自体が使われなくなります。
実務での対応としては、情報を追加するときのルールだけでなく、「いつ・誰が・何を確認して更新するか」という棚卸しの運用をあらかじめ決めておきます。四半期ごとの定期レビューを仕組み化するだけでも、ナレッジベースの劣化を防ぎ、AI精度改善を継続的な取り組みにできます。
原則5：モデルより先にデータ設計を見直す
「なぜ精度が上がったのか」を説明できない改善は再現性がなく、次に活かすことができません。検証できる状態とは、変更した内容とその結果を対応づけて確認できる状態のことです。
ノイズ除去、構造の統一、粒度の調整など複数の変更を同時に行うと、どの施策が精度改善に効いたのか分からなくなります。
効果が分からなければ次にどこへ投資すべきかも判断できません。感覚的に「なんとなく良くなった気がする」という状態のままでは、改善のスピードも上がりません。
実務でよくあるのは、精度改善のために一気に複数の施策（文書の追加、フォーマットの変更、チャンクサイズの調整など）を同時に実施してしまうケースです。結果として精度が改善しても要因を切り分けられず、次の改善に再現できません。
逆に精度が下がった場合も、原因の特定に時間がかかってしまいます。
実務での対応としては、変更は基本的に1つずつ行い、変更前後で同じ質問セットに対する回答を比較する運用をおすすめします。この記録は社内で改善の成果を説明する場面でも役立ちます。
「なんとなく良くなった」ではなく「この変更でこう変わった」と言えることが、次にどこに投資するかを決められます。
まとめ｜社内AIの回答精度改善は、モデルより先にデータ設計を見直す
社内AIやAIチャットボット、RAGの回答精度が上がらない場合、原因の多くはモデルの性能ではなく、AIに渡しているデータの設計にあります。ここまで紹介した5つの原則、ノイズを削る、構造を揃える、粒度を設計する、鮮度を保つ、検証できる状態を作る、はいずれも地味な作業に見えるかもしれません。
しかしこの5つがAI精度改善の土台であり、モデルを入れ替えるよりも先に着手すべき領域です。
新しいモデルへの乗り換えを検討する前に、まずはこの5原則に沿って自社のナレッジベースを点検してみてください。すべてを一度に完璧にする必要はありません。
どれか1つを改善するだけでも、回答精度は変わり始めます。