SMolLM: Small Language Models Learn Small Molecular Grammar

Jindal & Ju (Johns Hopkins / Moku) — arXiv:2605.03622 (May 2026)

🎯 53Kパラメータ重み共有LMでSMILES生成validity 95%超を達成し、文法学習のメカニズムを解明

① 背景と課題

分子生成LMはMolGPT（1.3M）・GP-MoLFormer（5M+）と大規模化が続くが、「なぜ有効なSMILESが生成できるのか」の機構論的理解は乏しかった。1Mパラメータ以下の超小型変換器モデルでの分子生成も未開拓であった。

モデルサイズの増大はコストを増加させるが、小型化の限界は不明だった

標準LMでは各層が独立した重みを持つため、"いつ何を学習するか"をパス単位で分離できない

→ 重み共有（ループ型）アーキテクチャで超小型化と解釈可能性を同時に実現

② 手法: 重み共有トランスフォーマー

単一Modern GPTブロック（RoPE + SwiGLU）をD=8回反復適用。同一重みを使うため、パス間の変化が「計算の時系列的差異」として解釈可能。

入力SMILES トークン
↓ embed
↓ [同一ブロック × 8パス]
↓ lm_head（重み共有）
↓ 次トークンサンプリング

53K params

D=8, d_model≈128, vocab 50, max_len 128

② 手法: 4種の解釈手法

文法段階解決をエラー分類・線形プロービング・SAE・因果アブレーションで多角的に実証。

③ 本研究で示したこと（要点）

④ 主な結果 (a) Paretoフロンティア: パラメータ数 vs validity

④ 主な結果 (b) パス数 vs 文法エラー率（WS-206K）

④ 主な結果 (c) モデル比較サマリー

モデル	Params	Validity	FCD
WS-53K (本研究)	53K	95.3%	2.5-2.9
WS-206K (本研究)	206K	98.0%	2.3-2.6
GPT-527K	527K	87.6%	2.1
GPT-3.2M	3.2M	99.4%	2.0
GRU-53K	53K	87.7%	—

⚠ KD・DPO後処理はいずれもvalidityを8-11ポイント低下させる

④ 主な結果 (d) 機構論的発見サマリー

Pass 1-2: ブラケット一致 (特定1ヘッドに局在)
↓
Pass 3-4: リング閉環 (長距離数字対応)
↓
Pass 5-8: 原子価整合 (化学的整合性)
↓
有効SMILES生成完了

bracket-matchingヘッドをablateするとbracketエラーが+22pp上昇、ring/valenceは変化せず — 高度な機能局在を確認。

⑤ テイクホームメッセージ