FORGE: Fragment-Oriented Ranking and Generation for Context-Aware Molecular Optimization

Qwen3-0.6B × 2 段階学習で natural-language 不要・context-aware の分子最適化を実現

🎯 fragment 効果の文脈依存を陽に扱う 2 段階フレーム (rank + edit) で、0.6B モデルが 30B 級 LLM を上回る SOTA 分子最適化を達成する。

① 背景と課題

分子最適化は global generation ではなく local editing 問題で、scaffold を保ちながら不足する性質だけを改善する必要がある。LLM ベースの prompt-conditioned generation は (i) prompt grounding が弱い、(ii) oracle-only タスクで自然言語意味論が足りない、(iii) distilled CoT が hallucination を生む、の 3 つの限界を抱える。

PMO で prompt の target name を無関係な名前に置換しても score 変化は 3% 未満（weak prompt grounding）。

MMPA / fragment-library 系手法は fragment 効果を global 平均化し、activity cliff 領域で破綻する。

→ 問題を「context-aware local editing」に再定式化し、where (rank) + how (edit) に分解。

② 手法 (a) 2 段階学習

Stage 1 (discriminative): decomposition / ranking / vulnerability / ICL の 4 task family × 約 2M examples で context-conditioned fragment ranking を学習。SME アトリビューション + RDKit ルールベース + Mol-Instructions。

Stage 1: SME / rule-based → fragment rank ⟶ Stage 2: SME+ verified pair + ChEMBL MMP → fragment replacement

Stage 2 (generative): SME+ verified low-to-high pair で「弱 fragment をどう置換するか」を学習。multi-step trajectory も chain。

② 手法 (b) SME+ と QwenAtom

SME+ は ECFP radius=2 の attachment environment で fragment occurrence を bin し、各 bin 内で verified low-to-high pair を抽出（global aggregate 廃止）。QwenAtom は atom-level tokenizer で fragment identity を安定化する。

0.6B params

Qwen3-0.6B base — 30B 級 LLM を上回る効率

Appendix E の controlled comparison では QwenAtom が 13 held-out Stage 1 sub-task 全てで vanilla tokenization に勝つ。

③ 本研究で示したこと（要点）

fragment 効果は強く context-dependent（ECFP grouping で attribution variance 8-10% 減）
natural-language prompt は分子最適化の弱い control 信号にしかならない
explicit fragment-level supervision で 0.6B モデルが 30B 級 LLM を凌駕する
SME+ + ICL + replay buffer で unknown black-box oracle に意味論なしで適応

④ 主な結果 (a) Attribution variance 減

ECFP grouping による fragment attribution variance reduction (%)

context grouping は実 attribution で 40-45% VR、shuffled null では ~3% — 文脈依存性が有意。

④ 主な結果 (b) 0.6B vs 30B

FORGE 0.6B が桁違いに大きい LLM を一貫して上回る。

④ 主な結果 (c) 5 ベンチマーク横断 SOTA

Benchmark	Tasks	FORGE rank
Prompt-MolOpt	ADMET 5 × sim 5	SOTA
PMO-1k	22 unnamed black-box	SOTA
QED-DRD2	dual + similarity	SOTA
Lead Optimization	real ChEMBL targets	SOTA
ChemCoTBench	vs latent-reasoning LLMs	SOTA

④ 主な結果 (d) Similarity-tight ほど gain↑

δ (sim)	Prompt-MolOpt	FORGE
0.0	baseline	+small
0.2	baseline	+medium
0.4	baseline	+large

small change の制約がきついほど context-aware fragment edit の優位が拡大する。

⑤ テイクホームメッセージ

🧩 fragment が一級市民
fragment 効果を陽に context-conditional に扱うことで activity cliff を吸収。

🪶 compact > large
0.6B + atom tokenizer が 30B 級 prompt-only LLM を凌駕。

🗣️ 言語不要
SME+ + ICL + replay buffer で oracle に semantics-free 適応。

📊 5 benchmark SOTA
Prompt-MolOpt / PMO-1k / QED-DRD2 / Lead-Opt / ChemCoTBench で全勝。

手法	fragment ctx	params
JTNN / GCPN / Modof	global	~100M
fRAG / GenMol	library	~1B
Prompt-MolOpt	language	1-7B
Qwen3-30B-A3B	prompt-only	30B
FORGE	context-cond SME+	0.6B