Human vs LLM — Synthesis Plan Quality Assessment

Do humans and LLMs agree on the quality of synthesis plans?

Voinarovska, Genheden et al. — AstraZeneca / Chalmers (ChemRxiv 2026) | DOI: 10.26434/chemrxiv.15001730

🎯 17名の専門家 vs 4種LLMで逆合成経路品質を評価し、どのLLMが最も信頼できるか定量化

① 背景と課題

AiZynthFinderなどのCASPツールは多数の逆合成経路候補を生成するが、実用化には専門家による品質評価が不可欠。しかし17名の専門家を50経路に充てる評価コストは高く、LLMによる自動化が望まれる。

LLMの評価バイアス（楽観的/悲観的傾向）が未解明で、どのモデルが合成評価に最適かが不明だった

プロンプト設計が評価収束度に大きく影響することが従来研究で見過ごされていた

→ 4種の最前線LLMと17名の専門家化学者の評価を体系的に比較し、各LLMの特性を定量化

② 実験設計

JMC掲載分子 50件
↓ AiZynthFinder で逆合成
↓ 反応ステップ毎 + 経路全体を評価
↓ 17名専門家 vs 4種LLM で比較
↓ MCCで一致度を定量化

③ プロンプト設計の重要性

評価カテゴリの明確な定義が人間・LLM双方の収束に決定的に重要。

❌ 定義なし: 評価者ごとに解釈が分散
✅ 定義あり（例）:
「Feasible: 標準的な実験条件で高確率で実施可能」
「Challenging: 特殊な条件・スキルが必要」
「Infeasible: 現在の技術では実施困難」

明確なカテゴリ提示で人間専門家の意見が反応レベルで高収束 → LLMとの比較が可能に

④ 主要結果 (a) LLM別MCC（人間多数決との一致）

人間専門家多数決との一致度（MCC；高いほど良い）

④ 主要結果 (b) LLMのバイアス傾向

各LLMの評価傾向の比較

④ 主要結果 (c) 評価粒度の比較

反応レベル

人間専門家の収束度が高い（明確カテゴリ定義で改善）

経路全体

ホリスティック判断で分散大、LLMとの比較が難しい

反応毎の評価がLLM自動化に最も適した粒度として推奨される

④ 主要結果 (d) 実験規模

50経路

JMC掲載分子からAiZynthFinderで生成

17名

専門家化学者によるグレーディング

4 LLM

Claude Sonnet 4.5 / GPT-4.1 / GPT-o3 / Gemini 2.5 Pro

⑤ テイクホームメッセージ

🤖 Geminiが最良のLLM評価者
MCC=0.354で4種LLM中最高。大規模候補セットの事前フィルタリングに実用レベルで使用可能。

⚠️ モデル毎のバイアスを把握せよ
Claude/GPT-4.1は楽観的すぎ（infeasible経路を通過）、GPT-o3は悲観的すぎ（feasible経路を棄却）。用途に応じたモデル選択が重要。

📝 プロンプト設計が鍵
明確なカテゴリ定義を含むプロンプトが人間・LLM双方の評価収束を向上。「わかりやすい評価基準」の提示が必須。

👥 人間監視は不可欠
LLMは大規模フィルタリングには有用だが、安全性・スケールアップ判断にはLLMのみでは不十分。Human-in-the-Loopの維持が推奨。

ケムインフォマティクスへの応用

Gemini 2.5 Pro API経由でAiZynthFinder経路を自動評価し、スコアの低い候補を除去後に専門家レビューに回すHITLパイプラインが構築可能

本研究のインパクト