Google DeepMindがファクトチェックに強い「SAFE」を公開 ”超人的”と自称するその詳細と市場の反応
Google DeepMindがAIによるファクトチェックシステム「SAFE」を開発し、公開した。SAFEは人間のファクトチェックを上回る性能を持ち、多面的なアプローチで優れたファクトチェックを行う。
SAFEは生成された長文式テキストを細分化し、厳格な検証プロセスを経て事実の正確さを確認する。また、多重段階推論を組み込んで事実の裏付けを行う。
SAFEは事実検証にGoogle検索の結果を活用し、事実のマッチングやサポートの有無を評価する。生成AIの弱点である偽・誤情報との戦いにも貢献する可能性がある。
Google DeepMindが、AIによるファクトチェックシステムを開発し、公開した。「SAFE（Search-Augmented Factuality Evaluator）」と呼ばれるシステムは、人間のファクトチェックを上回る性能で「superhuman＝神業」と称する一方で、疑問を投げかける専門家もいる。自動ファクトチェックツールは現在、どのような進化を遂げているのか。
ChatGPTなどの多言語モデル（LLM）の躍進が止まらないここ数年、世界がその進化を見守る中で依然として大きな問題として挙げられているのはその正確性だ。LLMから得られた結果やアウトプットを利用した問題の解決には、今なおマニュアルでのファクトチェックが必須で、これがLLMの価値を大きく損なっているともいえる。
DeepMindが開発したSAFEは、ファクトチェックの分野で人間の能力を上回るとされ、生成AIの弱点である「偽・誤情報」との戦いに大きな変革をもたらす可能性があるという。このSAFEは多面的なアプローチで優れたファクトチェックをするとされ、以下のように段階を踏むとされている。
詳細な分析：LLMが作成する長文式テキストを細分化し、個々の事実に分解。この細かい分解によって、徹底した事実検証が可能になる
厳格な検証：抽出された各事実をその後厳格な検証プロセスにかける。SAFEは検証にGoogle検索の結果を使用し、包括的な事実のマッチングをすることでこれまでになく正確な評価をもたらすことが可能
多重段階推論：単純なキーワードマッチではなく、検索クエリの生成や検索結果の後続分析などの、多重段階推論を組み込み、事実の正確さを決定するのがSAFEの検証システムである
つまり、まずSAFEは生成された長文式テキストを、個別の、自己完結型へと分割する。次に、曖昧な参照（代名詞など）をレスポンスのコンテキストに含まれる適切なものに置き換え、各ファクトが自己完結するように更新。再びその事実がコンテキスト内でプロンプトに関連しているかどうかをSAFEが測定し、スコア付けをする。
その後、依然として残る各事実をサポートの有無で複数段階の評価を付け、最後に、推論を使用して所定のステップを踏んだSAFEが事実の裏付けを確認し、「サポート有」「無関係」「サポート無」のファクト数をメトリクスとして出力する、という流れだ。
