「同じ資料を、同じ生成AIに、同じ指示で分析させたのに、前回と異なる結果が出てきた。どうなっているのか」
生成AIを使っていると、このようなことがあります。
これは、直ちに故障や操作ミスを意味するものではありません。
従来のプログラムは、同じデータと条件を与えれば、原則として同じ結果を返します。一方、生成AIは、あらかじめ保存された一つの正解を取り出しているわけではなく、その都度、回答を生成しています。
そのため、同じ資料と指示を与えても、
- 注目する箇所が変わる
- 説明の順序や表現が変わる
- 前回は挙げなかった論点を挙げる
- 重要性の評価や結論が変わる
ことがあります。
また、利用者から見える条件が同じでも、会話履歴、資料の読み取り方、モデルの更新、検索や外部機能の取得結果などが影響する場合があります。
特に、長い特許文献や複数の引用文献を分析させる場合には、どの部分を重視するかによって結果が変わりやすくなります。
結果の揺らぎを減らすには、
- 新しい会話で同じ資料と指示を使用する
- 確認項目と出力順序を具体的に定める
- 判断の根拠となるページや段落を示させる
- 重要な結論について別の角度から再確認させる
- 抜け漏れや形式上の問題はプログラムや人が確認する
といった方法があります。
それでも、毎回まったく同じ分析結果になるとは限りません。
大切なのは、同じ文章を出させることではなく、重要な判断が変わったときに気づき、その根拠を確認できるようにすることです。
生成AIによる分析結果をそのまま最終結論とせず、結果が異なった部分を重要な確認事項として扱うことが、実務では必要になります。