Scaffold-Based Evaluation Metrics for Molecular Generators

Scaffold-Based Evaluation Metrics for Fair Comparison of Molecular Generators

Fil, van den Broek, Šícho, Čmelo, Agea, Jespers, van Westen, Svozil | ChemRxiv 2026-04-10 | DOI: 10.26434/chemrxiv.15001826

🎯 MOSES/GuacaMolが捉えられない「生物活性スキャフォールド回収能力」を評価する RS・SED・ASER 3指標を提案。DrugEx GT が RS/SED 最高、GB_GA が ASER 最高。コード公開。

① 背景と課題

MOSES/GuacaMol は妥当性・新規性・分布一致を評価するが、これらは創薬実用性（生物活性スキャフォールドの発見）と乖離している。AddCarbon（SMILES に C を追記するだけ）が GuacaMol で高スコアを達成できる——既存ベンチマークの根本的欠陥。

Validity/Novelty が高くても、活性スキャフォールドを生成できなければ創薬に無用

目標プロパティ最適化スコアを单一値に集約すると不安定・合成非現実的な分子が生成される

10,000 化合物規模のベンチマーク（既報多数）は指標が不安定で信頼性に問題

→ Recall set の生物活性スキャフォールドを基準にした RS/SED/ASER で公平な比較を実現。

② 3 指標の定義

Recovery Score = |Unique Active scaffolds (OS∩RS)| / |Unique Active scaffolds (RS)|

→ recall 型、活性スキャフォールド回収率 [0, 1]

SED

SEt scaffold Diversity = |Unique scaffolds in OS| / |cOS|

→ 多様性指標 [0, 1]、高 SED = 幅広い探索

ASER

Absolute SEt scaffold Recall = |Active scaffolds in OS| / |cOS|

→ 濃縮率 [0, ~0.064]、高 ASER = 活性スキャフォールド集中

⚡ SED と ASER はトレードオフ — 同時最大化不可

② スキャフォールド表現と分割

ベンチマーク分割戦略

③ 本研究で示したこと

④ 主な結果 (a) 生成器別 RS 性能（概要）

④ 主な結果 (b) SED–ASER トレードオフ

④ 主な結果 (c) OS サイズと指標安定性

OS サイズ	RS 安定性	SED 安定性	ASER 安定性
10,000	❌ 不安定	❌ 不安定	❌ 不安定
62,500	⚠ やや不安定	⚠ やや不安定	⚠ やや不安定
125,000	⚠ 部分的	⚠ 部分的	✓ 概ね安定
250,000★	✓ 安定	✓ 安定	✓ 安定
500,000+	✓✓ 安定	✓✓ 安定	✓✓ 安定

多くの既報研究（OS = 10,000）は指標安定性が不十分。最低 25 万化合物を推奨。

⑤ パイプライン応用と限界

RS は未知活性スキャフォールドを評価できない（recall ベースの限界）

SED は側鎖の化学的妥当性を無視した多様性戦略に対して脆弱

プレプリント — 査読未完了