Benchmarking Molecular Feature Attribution Methods with Activity Cliffs
Jiménez-Luna, Skalic, Weskamp — J. Chem. Inf. Model. 2022, 62, 274–283 (Boehringer Ingelheim / ETH Zürich)
🎯 活性クリフMCSベンチマークでGNN系XAI手法の限界を定量化
→ RF+ECFP4マスキングが全GNN系を凌駕することを実証
① 背景と課題

分子機械学習（GNN等）のXAI評価は従来、合成タスク（特定サブストラクチャの識別）に限定されており、実際の創薬設定（活性クリフ）での評価がなかった。また既存ベンチマーク（Sánchez-Lengeling et al., NeurIPS 2020）はGNNのみを対象とし、古典的RF/ECFP4手法を含めていなかった。

GNN系XAI手法は理論的には強力だが、実薬剤探索条件での定量的実証がなかった
活性差が「本当に構造変化に起因するか」という基本的前提の検証が不足していた
② データ規模
729
ターゲット系列
1,222
コンジェナリー系列
997
ChEMBL訓練セット(≥100点)

活性差 >1 log unit、共通原子比率 >50%、MW <800 Daの条件でペア構築

③ ベンチマーク設計
BindingDB コンジェナリー系列
↓ rdFMCS でMCS計算
↓ 活性差 >1 log unit のペア抽出
↓ 非共通原子にグラウンドトゥルースラベル付与
↓ Color accuracy / Direction accuracy で評価

同一化合物が逆符号ラベルを持つ場合（平均32%）は Direction accuracy で対処

③ 比較手法
カテゴリ手法
GNNGraphNet/GCN/MPNN/GAT × 6帰属手法
古典的Sheridan masking + RF (ECFP4)
★最良RF + ECFP4 + Sheridan masking
古典的Sheridan masking + FCNN (ECFP4)
GNN帰属GradInput, CAM, GradCAM, IntGrad, Attention, diff
④ 主な結果 (a): 訓練含有ペア
Color Accuracy (MCS≥50%, ベンチマーク含有) 50% 60% 70% 70% RF+mask 64% FCNN+mask 60% GraphNet+diff 57% GCN+CAM 55% GAT+IntGrad Random

★ RF+Sheridanが5%pt以上の差でGNN系を凌駕

④ 主な結果 (b): 未見化合物
含有ペア vs 除外ペア (Color Accuracy) 50% 58% 65% 70% 70% 58% RF+mask 60% 52% GraphNet+diff 55% ≈50% GAT+GradInput
未見化合物では全手法が激減→ "Clever Hans効果"が示唆される
⑤ 計算化学パイプラインへの応用
  • lib/docking: ProLIFフィンガープリントにSheridan maskingを適用してスコアリング根拠を可視化
  • lib/molgen: MolgenYamlが提案する変換ステップをMCSベースで説明力評価し、医薬化学者向け根拠レポート生成
  • ChEMBL/BindingDB活性クリフペア自動構築ルーティンをlib/dockingのQA機能として追加
XAIベンチマーク統合フロー
ChEMBL抽出 → MCSペア構築 → RF+maskingで説明生成 → color accuracy評価 → 医薬化学者レポート
⑥ 限界・今後の課題
全ての活性差が構造変化起因という前提が常に成立しない（非特異的相互作用）
同一化合物が逆符号ラベルを持つ場合（平均32%）の完全解決なし
SMILES系（RNN/Transformer）への拡張は対象外
Clever Hans効果への根本的対処法は未提示

実装: github.com/josejimenezluna/xaibench_tf (AGPLv3)

⑦ まとめ
  • GNN系XAI手法は活性クリフ評価でRF+ECFP4に大幅劣後
  • 未見化合物では全手法が実質ランダムに低下（Clever Hans）
  • 化学類似度・訓練規模はXAI性能に影響なし
  • 現時点ではGNN系XAIの前向き創薬利用は非推奨

→ シンプルなベースライン（RF+ECFP4）が最強という逆説が示す教訓

DOI: 10.1021/acs.jcim.1c01163 | J. Chem. Inf. Model. 2022, 62, 274–283 | Code: https://github.com/josejimenezluna/xaibench_tf (AGPLv3) | Category: machine_learning