C-MORAL: Controllable Multi-Objective Molecular Optimization with Reinforcement Alignment for LLMs
分子最適化 LLM を group-relative RL で後訓練し競合する創薬制約に整合 ｜ arXiv:2602.31061 [cs.LG] (2026, UCLA & Amazon)
🎯 不足物性だけを薬学的水準まで選択改善し、充足物性とコアスキャフォールド・合成可能性は保持する細粒度制御（C-MuMO）を、報酬設計レベルで実現する。
① 背景と課題

リード最適化は本質的に多目的最適化で、現実には「不足属性だけを選択改善し、充足属性とスキャフォールドは保持」する細粒度制御が要る。著者はこれを Controllable Multi-property Multi-objective Optimization (C-MuMO) とし、初期 hit Mx ＋自然言語指示 I から最適化済み lead My を生成する制約付き生成として定式化する。

従来 RL は複数目的を線形スカラー化し、競合制約下で implicit sacrifice（ある目的を犠牲に別を稼ぐ）に陥る
SFT/プロンプト LLM は化学制約を「軟らかい指示」扱いし、スコア改善のためスキャフォールドを改変・保持制約を破る
連続かつ競合する目的を構造忠実性を保ちつつ満たす「制御可能」設定の体系的研究が乏しい

→ group-relative・critic-free 方策最適化に物性スコアアラインメントと非線形報酬集約を組合せ、異種制約下の報酬整形を明示設計

② 手法: C-MORAL（GRPO/GDPO + 整列 + 非線形集約）
C-MORAL 報酬スタック 物性を二分 sub-optimal(Pi) / near-optimal(Ps) Sigmoid alignment 異種スケールを [0,1] 嗜好空間へ (αp ∝ 5/Δp) 非線形集約 幾何平均(GRPO)/-LogSumExp(GDPO)＝論理AND Group-relative 更新 G候補で優位度正規化 + KLペナルティ
Ai = (Ri − μ_G)/(σ_G + ε)
critic-free・LoRA(projection)・G=4・beam幅20・KL を構造正則化

同一 SFT(GeLLM4O-C) から初期化し RL の純粋効果を切り分け。GitHub: Rwigie/C-MORAL。

③ 本研究で示したこと（要点）
  • 競合創薬制約への group-relative・critic-free 方策アライメント（GRPO/GDPO）
  • 異種物性を [0,1] 嗜好空間へ揃える適応 sigmoid alignment（αp ∝ 5/Δp）
  • 幾何平均/-LogSumExp の非線形集約で implicit sacrifice を数学的に防止（凸等高線＝論理AND）
  • C-MuMOInstruct で SFT を一貫超え、スキャフォールド類似度（~0.58–0.60）を保持
④ 主な結果 (a) IND SOR
33.7 SFT 48.9 C-MORAL(GRPO) Mistral IND SOR (%)

IND SOR 33.7→48.9%（+45.1%）、SSOR 14.4→25.1%（+74.3%）。

④ 主な結果 (b) IND vs OOD
33.7 48.9 IND SOR 24.4 39.5 OOD SOR SFT C-MORAL SFT vs C-MORAL (Mistral GRPO,%)

OOD でも 24.4→39.5%（+61.9%）、類似度 Sim=0.60 を維持。

④ 主な結果 (c) アブレーション
24.2 線形AM 39.7 +幾何平均 48.9 +sigmoid アブレーション GRPO SOR (%)

線形AMは SFT(33.7) 以下に劣化（reward collapse）。非線形集約＋整列で回復・向上。

④ 主な結果 (d) 保持・効率
RI 51.4 → 110.4
sub-optimal 物性の相対改善（GDPO で +114.8%）
Sim 0.58–0.60
スキャフォールド類似度を保持（構造ドリフトでなく最適化品質の向上）
critic-free
GRPO/GDPO は PPO のクリティック不要で省メモリ・7B 級に好適
⑤ テイクホームメッセージ
🎯 制御可能最適化
不足物性だけ改善し、充足物性・スキャフォールドは保持。
🧮 論理AND
幾何平均/-LogSumExp の凸集約で implicit sacrifice を数学的に防止。
📐 適応整列
αp∝5/Δp で異種スケールを等価報酬に較正、レンジ広い指標の支配を防ぐ。
💾 省メモリRL
critic-free GRPO/GDPO + LoRA で 7B 級生成器を後訓練。
Mistral IND 成績
手法SORSSORSim
SFT (GeLLM4O-C)33.7%14.4%0.58
C-MORAL-GRPO48.9%25.1%0.58
C-MORAL-GDPO47.0%25.0%0.57
本研究のインパクト
  • lib/molgen: 既存 SMILES 生成器(MolgenYaml/JobManager)を「方策」とみなし C-MORAL 報酬スタックを被せ group-relative ポストトレーニング。「改善 vs 保持」制御セマンティクスを報酬設計で導入（critic-free で省メモリ）
  • lib/docking: sigmoid alignment + 非線形集約を生成器非依存部品として docking score・QED・ADMET・類似度を [0,1] 較正し「微分可能な論理AND」に統合、LBVS/SBVS で偏った候補を排除（線形和の端点解を回避）
  • lib/molgen・lib/docking: SOR/SSOR/RI と Θp/Δp の per-property 閾値・マージンを評価ハーネス/設定スキーマとして追加し制約遵守度を定量化
C-MORAL: Controllable Multi-Objective Molecular Optimization with Reinforcement Alignment for LLMs. arXiv:2602.31061 [cs.LG]. 2026. https://github.com/Rwigie/C-MORAL