DiffMeta-RL: Reinforcement Learning-Guided Graph Diffusion for Metabolically Stable Molecular Generation
J. Chem. Inf. Model. 2025, 65, 11746–11765 | DOI: 10.1021/acs.jcim.5c02060
🎯 拡散モデル自身をポリシーにしGDPOで多目的最適化。独自CYP450予測器MetaCYPを報酬に統合し、代謝安定な分子をde novo生成する
① 背景と課題

創薬における臨床失敗の主要因のひとつが代謝不安定性であり、承認薬の約75%がCYP450で代謝される。CYP2C19やCYP3A4による急速なクリアランスは低バイオアベイラビリティや薬物間相互作用を招く。SMILES/SELFIES系の文字列モデルは化学的妥当性に難があり、構造ベース生成は非現実的な立体配座を生みやすい。

既存のグラフ拡散モデルの多くは無条件生成で、特定性質を狙う直接機構を欠く
条件付き拡散も大量ラベルを要し、多性質の同時最適化や多様性維持に苦労する

→ edge-aware Graph Transformer拡散を基盤に、薬らしさ・合成容易性・結合親和性・代謝安定性を同時制御するRLフレームワークを構築

② 手法概要 (DiffMeta-RL)
離散グラフ拡散 DiffMeta
(node+edge カテゴリカルノイズ)
↓
逆拡散軌道を MDP 化
s_t=(G,t), a_t=G_{t-1}, 終端報酬のみ
↓
GDPO: critic 無し
reward-weighted log-likelihood
↓
多目的報酬 r(G0)

r(G0)=λ1·rSA+λ2·rQED+λ3·rNOV+λ4·rDock − λ5·yCYP450（全項[0,1]正規化）。novelty項がmode collapse防止のregularizerとして機能する。

MetaCYP
ChemBERTa(SMILES)+GAT(graph) クロスモーダルCYP450阻害予測器（5アイソフォーム）
③ 計算化学パイプラインへの応用
  • lib/molgen: 拡散モデル自身をポリシーとするGDPO型RLをMolgenYamlスコアラーに導入。critic不要で軽量・sparse報酬下でも安定
  • lib/molgen: edge-aware Graph Transformer離散グラフ拡散を生成エンジン選択肢に追加
  • lib/docking: MetaCYPをProLIFCalculator/UniDockRunnerの後段フィルターにし、CYP阻害確率でリスク層別化
  • lib/fep: docking報酬項をMMGBSAEngineのΔGに差替え、生成と物理ベース評価のクローズドループ化
実装ギャップ: DiscreteGraphDiffusion・GDPO最適化ループ・MetaCYP・正規化多目的報酬関数がlib未実装
④ 主な結果 (a) 生成性能 MOSES/GuacaMol
0.923 validity 0.971 novelty 1.000 unique 0.901 val(GM) 0.991 nov(GM) 0.85 1.00 MOSES / GuacaMol 生成指標

MOSES: FCD 1.12（Digressと有意差なし）。GuacaMol: FCD 0.831（MolGPTにp<0.05で改善）。validity・novelty・FCDのトレードオフでPareto frontierに位置。

④ 主な結果 (b) MetaCYP scaffold-split AUC
0.86 1A2 0.88 2C9 0.85 2C19 0.84 2D6 0.87 3A4 0.80 0.90 5アイソフォーム AUC (scaffold-split)

scaffold-stratified splitでAUC 0.837–0.882、Brier 0.115–0.142、95%特異度時precision 0.698–0.781で良好に校正。未知骨格にも汎化。

④ 主な結果 (c) 制御性 & ablation
条件QED↑SAscore↓
RLなし0.693.52
classifier guidance0.743.05
DiffMeta-RL0.842.21

いずれも分散が小さく統計的有意（p<0.05）に上回る。

バックボーンvalidityFCD↓
GCN0.8143.50
非エッジTransformer0.9011.45
full (edge-aware)0.9231.12

node+edge情報の両モデル化が有意に優れる。MetaCYP報酬導入でCYP2C19/3A4阻害を一貫低減（Cohen's d 最大 −2.85）。

⑤ テイクホームメッセージ
  • 拡散モデル自身をポリシーとするGDPOで、critic不要・軽量に多目的最適化を実現
  • 独自CYP450予測器MetaCYPを報酬統合し代謝安定性を直接最適化対象に
  • H+/K+-ATPase標的PPI設計で強い予測結合とCYP低感受性を両立（redock RMSD 0.65 Å）
  • novelty項が探索維持のregularizerとして必須—除去でmode collapse
限界: 代謝安定性の代理に「阻害確率」を使用（クリアランスとは別現象）。立体化学妥当率62.2%。in silico予測のみで実験検証は未実施。
DOI: 10.1021/acs.jcim.5c02060 | J. Chem. Inf. Model. 2025, 65, 11746–11765 | Code: https://github.com/Bigrock-dd/DiffMeta | Category: machine_learning