LM2Protein: A Structure-to-Token Protein Large Language Model

タンパク質3D構造を離散トークン化し、配列と同じ言語モデルで構造予測・逆フォールディング・RNA設計を統一

🎯 3D座標をVQ-VAEで離散トークンへ量子化し、視覚/3D専用パイプライン無しに構造をテキスト同様にLLMで自己回帰生成する統一フレームワークを構築する。

① 背景と課題

タンパク質機能は精密な三次構造に依存するが、配列-構造関係は複雑かつ縮退している。LLMは生体配列をテキスト同様に扱えるが、空間構造の取り込みには視覚/3D専用パイプラインが必要で複雑性・計算コスト・マルチモーダル統合の不整合を招く。

既存タンパク質LM(ESM)/生成モデル(ProtGPT2)は構造文脈を省略しがち

ProteinMPNN/ESM-IFは連続座標処理用のカスタム幾何ネットワークに依存

RBPからのRNA設計(RNAFlow)は逆フォールディング+構造予測の分離型で不安定

→ 3D座標を離散トークンへ量子化し、構造も配列も単一のSeq2Seq LLMで統一処理する

② 手法の概要: 構造トークナイザ + 拡張Qwen2.5

(A) 残基ごとの局所30原子点群を6M Equiformer(SE(3)等変)でz_iに符号化→4096コードブックへ最近傍量子化。(B) Qwen2.5-1.5Bに約4kトークン(構造ID+26残基タグ+タスク区切り)を追加、アーキ変更なし。(C) 単一モデルで4タスク。

③ 本研究で示したこと

④ 主な結果 (a) 逆フォールディング Recovery

④ 主な結果 (b) RNA設計 Recovery

④ 主な結果 (c) 構造予測 TM-score

④ 主な結果 (d) 配列recovery高/3D精度に課題

⑤ テイクホームメッセージ

離散化が鍵
連続座標を専用NNで扱う代わりにVQ-VAEで離散トークン化し、全タスクを「トークン列→トークン列」に統一

最小拡張で統一
Qwen2.5に約4kトークン追加のみ。アーキ変更なしでマルチモーダル/マルチタスク

少パラメータで強い設計性能
1.5BでProteinMPNN等を逆フォールディングで上回り、RNA設計は3倍超

残る課題は3D忠実度
局所モチーフは捕捉も大域折りたたみ制約に苦戦。生成RNAのTM/RMSDに課題

先行手法との比較

手法	構造表現	InvFold Rec.	RNA設計
ProteinMPNN	連続座標+MPNN	34.26%	-
ESM-IF	連続座標+GVP	30.43%	-
RNAFlow	分離型flow+RF2NA	-	21-26%
AlphaFold3	巨大幾何NN	-	-
LM2Protein	離散構造トークン+LLM	51.00%	72-74%

本研究のインパクト