LM2Protein: A Structure-to-Token Protein Large Language Model

LM2Protein: A Structure-to-Token Protein Large Language Model (EMNLP 2025 Findings)

VQ-VAE で 3D structure を discrete token 化 + Qwen 2.5 拡張で protein / RNA タスクを unified Seq2Seq に (out_of_scope for chemexp)

🎯 protein 3D structure を 4096-vocab discrete token 化し、Qwen 2.5 decoder で protein/RNA の 4 task を unified framework で扱う。chemexp スコープ外だが discrete tokenization paradigm は参考点。

① 背景と課題

protein structure prediction / inverse folding / RNA design 等は通常 task-specific architecture (AlphaFold / ProteinMPNN / RNAFlow) で別々に扱われる。LLM の universal generative 能力を biology に拡張する試みはあるが、3D structure を sequence model に integrate するのは complex な multi-modal pipeline を要した。

既存手法は task ごとに専用 geometric encoder が必要。

3D coords の直接 LLM 入力は modality bridging が困難。

→ 3D structure を discrete token に変換 + Qwen 2.5 decoder の tokenizer minimal extension で 4 task を unified Seq2Seq に。

② 手法 (a) VQ-VAE 構造 tokenizer

SE(3)-equivariant Equiformer (6M params) で 3D 座標を continuous latent に。VQ-VAE で 4096-vector codebook を nearest-neighbor 量子化、discrete structural token sequence を生成。

3D coords → Equiformer (SE3-equiv) → VQ-VAE 4096 codebook → structure tokens

global pose 不変、3D geometric pipeline の複雑性を回避。autoregressive LM 互換に。

② 手法 (b) Qwen 2.5 拡張 decoder

Qwen 2.5 の tokenizer を 4096 structure tokens + 26 residue tags + task delimiters で拡張 (~4k+ tokens)。Architectural 変更なし、minimal extension で structure-aware sequence model に。

~1.5B params

small model で 4 task を unified Seq2Seq に handle

Fixed SYSTEM_PROMPT + masked loss on `...` で fine-tune。

③ 本研究で示したこと（要点）

VQ-VAE structural tokenization で 3D を LLM 互換に
Inverse folding で Recovery 51% (vs ProteinMPNN 34%) — 大幅改善
RNA design from RBP sequence で Recovery 73.7% (vs RNAFlow 21%) — 3 倍以上
chemexp スコープ外 (biologics / RNA) だが discrete tokenization は参考点

④ 主な結果 (a) 4 task の比較

LM2Protein vs baselines (簡略)

Structure では AF3 に劣るが Inverse Folding / RNA design で大幅改善。

④ 主な結果 (b) Architecture flow

④ 主な結果 (c) 詳細 metrics

Task	LM2P	vs Baseline
Struct (TM)	54.80%	AF3: 62.52%
Inv. fold	51.00%	ProtMPNN: 34.26%
Inv. fold (sim)	39.30%	ProtMPNN: 29.61%
RNA design	73.7%	RNAFlow: 21.0%

④ 主な結果 (d) chemexp 位置

軸	判定
標的	protein design + RNA
chemexp 主軸	protein-target small molecule
scope 判定	out_of_scope
参考点	discrete structural tokenization paradigm

3D 座標 → discrete token の idea は small-molecule pose representation の LLM 化に参考。

⑤ テイクホームメッセージ

🧬 Discrete structural tokenization
VQ-VAE 4096-vocab で 3D 構造を LLM 互換に。novel paradigm。

🎯 Unified Seq2Seq
4 task (struct pred / inv fold / RNA × 2) を single 1.5B model で。

📈 Inv. folding + RNA で SOTA
ProteinMPNN を Recovery で +17pt、RNAFlow を +50pt 超え。

⚠️ chemexp 外
protein design (biologics) + RNA modality でスコープ外。external ref 記録対象。

系統	task
AlphaFold3	structure prediction (large)
ProteinMPNN / ESM-IF	inverse folding (専用)
RNAFlow	RNA design (専用)
LM2Protein	4 task unified, 1.5B