C-MORAL: Controllable Multi-Objective Molecular Optimization with Reinforcement Alignment for LLMs

GRPO / GDPO + Property Score Sigmoid Alignment で lead-opt の controllable RL 事後学習を実現

🎯 LLaMA / Mistral 7B を GeLLM4O-C SFT から RL 事後学習し、改善・安定性・類似度の 3 制約を同時に満たす controllable な multi-objective lead optimization を実現する。

① 背景と課題

Lead optimization は「全 property を改善」ではなく「不足 property だけを選択的に改善し、満たしている性質と scaffold は保つ」controllable な多目的問題である。LLM ベースの分子最適化は急速に進んだが、SFT 中心の手法は競合する複数制約の同時満足で Pareto trade-off が不安定だった。

SFT 単独では Δ-margin の adaptive 設定が困難で、PlogP のように自然スケールが広い property が gradient を支配しやすい。

PPO 系 RL は critic network が重く、分子探索の rollout × group ごとに非効率。

→ GRPO/GDPO（critic-free, group-relative）+ 適応的な property scoring + geometric/smooth-min 集約。

② 手法 (a) GRPO/GDPO 二系統

GRPO: 同一プロンプトから生成した group 内で advantage 相対化（geometric mean 報酬で bottleneck を inherent に罰する）。GDPO: 報酬次元ごとに advantage 標準化し、Log-Sum-Exp で smooth-min 集約。conflict が強い問題で有利。

prompt → LLM generates group of N candidates → property scores → group-relative advantage → policy update

PPO の critic 不要でメモリ・速度効率↑。LoRA on projection layers, lr=1e-6, batch 64, group 4。

② 手法 (b) Property Score Sigmoid Alignment

異種スケール property を [0,1] preference space に正規化。Sub-optimal は s = σ(α_p·(v−T_p)) で T_p=baseline+Δ_p を中点、α_p ∝ 5/Δ_p で margin 適応。Near-optimal は double sigmoid で plateau + 境界外指数減衰。

R = (Π s)^(1/N)

geometric mean（min の連続近似）で全 property の同時達成を強制

PlogP（Δ=1.0）と QED（Δ=0.1）が同じ reward magnitude を持つよう正規化される。

③ 本研究で示したこと（要点）

分子 LLM の RL 事後学習で GRPO/GDPO が SFT を上回る安定性を発揮
Property Score Sigmoid Alignment + geometric mean が multi-objective lead-opt の bottleneck を解消
C-MuMOInstruct で SOR 48.9% (IND), 39.5% (OOD) — SOTA
scaffold similarity を高水準で保持しつつ 4-5 property 同時改善

④ 主な結果 (a) SOR 比較

C-MuMOInstruct: Success Optimized Rate (%)

GeLLM4O-C ベースラインを IND/OOD 双方で大幅に上回る。

④ 主な結果 (b) Pareto trade-off 概念図

RL alignment が improvement と stability を同時に押し上げる。

④ 主な結果 (c) ベンチマークタスク

分類	タスク	Property 数
IND	BPQ (BBBP, PlogP, QED)	3
IND	ACEP (AMP, CARC, hERG, PlogP)	4
IND	DHMQ (DRD2, hERG, MUT, QED)	4
OOD	CDE (CARC, DRD2, hERG)	3
OOD	HLMPQ (hERG, LIV, MUT, PlogP, QED)	5

毒性 (CARC, hERG, MUT, LIV) と薬物様 (BBBP, QED, PlogP) を同時最適化。

④ 主な結果 (d) Ablation の効果

除外	SOR への影響
PSA (sigmoid normalisation)	大幅低下（PlogP が gradient 支配）
Geometric mean → arithmetic	SSOR 崩れ（bottleneck 性質を implicit 犠牲）
Double sigmoid → 単一 sigmoid	near-optimal の boundary violation 増
GDPO smooth-min	conflicting objective 多い HLMPQ で劣化
KL regulariser	SMILES 構文崩壊（valid rate 急落）

⑤ テイクホームメッセージ

🎯 RL 事後学習
分子 LLM の controllable lead-opt に GRPO/GDPO が効く。SFT を一貫上回る。

⚖️ 適応的 reward shaping
α_p ∝ 5/Δ_p の sigmoid + geometric mean がスケール違い property の trade-off を解消。

🧱 scaffold 保持
Tanimoto 高水準維持しつつ 4-5 property を同時改善。

📦 実装公開
github.com/Rwigie/C-MORAL に LoRA weights・training script・benchmark setup。

手法と関連研究の対比

枠組み	aligning 段階	多目的処理
ControllableGPT	SFT	—
LICO / MOLLEO	SFT + scoring	線形
GeLLM4O-C	SFT (multi-task)	arithmetic
C-MORAL-GRPO	RL post-training	geometric mean
C-MORAL-GDPO	RL post-training	smooth-min (LSE)

本研究のインパクト

分子 LLM の lead-opt 用 RL 事後学習レシピを公開実装で提示
chemexp 文脈: molgen の LLM generator backend、ulvsflow lead-opt の reward 設計の参考
LLM-based molecular generation の defer + batch 比較対象として next-eval phase の候補