DrugPlayGround: LLM Benchmark for Drug Discovery

DrugPlayGround: Benchmarking LLMs and Embeddings for Drug Discovery

Liu, Jiang, Zhang, Sun et al. | bioRxiv 2026-04 | DOI: 10.64898/2026.04.04.716470 | Yale University × UC Berkeley

🎯 5LLM×6温度×3プロンプトで創薬4タスクを体系評価し最適設定を実用ガイダンスとして提供

① 背景と課題

LLMの創薬応用が急増しているが、客観的な評価基盤が不足しており「LLMが従来手法と比べて本当に有用か」が不明確。ハルシネーション・医薬情報の誤り・3D構造情報の欠如など、安全な応用を阻む問題が指摘されている。

LLMは3D構造情報を持たず複雑な化学空間の探索には本質的限界がある

プロンプト・温度・モデル選択が精度に大きく影響するが指針がなかった

既存ベンチマーク（MoleculeNet等）は汎用LLM評価に不適

→ 薬物機能解析・DTI・相乗効果・摂動予測の4タスクで系統的評価する統一ベンチマークを構築

② 評価フレームワーク

ブランチ1: テキスト生成評価

5指標（BERT・ROUGE-1/2/L・BLEU）＋Normalized Total

5 LLMs × 6 温度 × 3 プロンプト（Standard / CoT / Meta）

ブランチ2: 埋め込み評価

LLM生成記述の埋め込みベクトルを下流タスクに転用

＋化学者によるヒューマンレビューを組み合わせ

③ プロンプト戦略の比較

プロンプト	スコア	分散	推奨用途
Meta（メタ認知）	🥇 最高	中	薬物記述生成
Standard（標準）	🥈 中位	高	汎用
CoT（推論連鎖）	🥉 最低	最小	記述生成に不適

Meta prompt: ドメイン知識＋自己認識的問いかけで参照との整合性が最高

CoT: 推論アーティファクトがROUGE/BLEUを低下させる（逆説的）

CoTは分散を最小化（正則化効果）するが平均スコアは最低

④ 主な結果 (a) モデルランキング（薬物記述生成）

④ 主な結果 (b) 温度の影響

④ 主な結果 (c) 実用ガイダンスまとめ

タスク	推奨モデル	プロンプト	温度
薬物記述生成	GPT-4o	Meta	低（0.2-0.4）
DTI予測	GPT-4o	Standard	0.3
相乗効果予測	タスク依存	Meta	低-中
安定性重視	任意	CoT	低-中

④ 主な結果 (d) LLMの限界

LLMは複雑な化学構造の3D情報を持たず、创薬空間探索には根本的制約がある

コスト・ハルシネーション・医薬情報の誤りへの対策が不可欠

タスクによって最適モデルが異なり「万能LLM」は存在しない

⑤ パイプラインへの実装提案

lib/docking / lib/md の LLM 統合:

lib/molgen の LLM 活用:

期待される効果