Accuracy and Efficiency Benchmarks of Pretrained MLIPs for Molecular Simulations
Eastman, Pretti & Markland (Stanford) — arXiv:2601.16331 (Jan 2026) | 15モデル統一評価
🎯 15種の事前学習済みMLIPを精度・速度・メモリ・安定性で統一比較し、実用的選択基準を提供
① 背景と課題

事前学習済みMLIPが急増し、どのモデルを選ぶべきか判断が困難になった。各開発者のベンチマークは基準が統一されておらず横比較が不可能。既存ベンチマーク（MD17 ≤21原子、GMTKN55 ≤60原子）は薬物様分子・ペプチドには小さすぎる。速度・メモリの統一評価も存在しなかった。

FAIR Leaderboard はMetaモデル中心・精度のみ / MLIPAuditは特定パッケージ依存 / CatBenchは触媒特化
荷電分子・大分子（70-110原子）での評価が不足、メモリ要件が未公開

→ 40〜110原子の薬物様分子・ペプチドを含むSPICEテストセットでH100 GPU統一評価

② 手法: SPICEテストセット評価

ωB97M-D3BJ/def2-TZVPPD基準の800分子×10コンフォーマー。コンフォーマー間エネルギー差MAE（kcal/mol）で精度を計測。

小リガンド200個 (40-50原子)
大リガンド200個 (70-80原子)
5残基ペプチド200個 (68-110原子)
PDB由来dimer200個 (34-72原子)
↓ 中性617 + 荷電183

力はNG（理論レベル依存）→ エネルギー差MAEで統一

② 手法: 速度・メモリ・安定性評価
  • 速度: ASE+H100で50〜21,384原子をシミュレーション、steps/sec計測（3回平均）
  • メモリ: モデルロード前後のGPUメモリ差分
  • 安定性: 686原子系を400K/100ps/1fsでLangevin MD、結合切断・温度スパイク確認
全15モデルで安定
100ps MDで結合切断・温度異常なし
③ 本研究で示したこと
  • パラメータ数・訓練データ量と精度が強相関（ほぼ線形）
  • 1/r Coulombエネルギー項は精度向上の明確な証拠なし
  • 化学精度（<1 kcal/mol）達成: UMA-m-1.1・UMA-s-1.1・Orb-v3-omolの3モデルのみ
  • 速度・メモリはアーキテクチャが決定（モデルサイズと独立）
④ 主な結果 (a) 精度ランキング（Overall MAE, kcal/mol）
0 0.5 1.0 1.5 2.0 化学精度 UMA-m-1.1 0.55 Orb-v3-omol 0.72 UMA-s-1.1 0.80 MACE-OFF24(M) 1.10 MACE-OMOL-0 1.20 MACE-MH-1 1.30 AIMNet2 1.45 AceFF-1.1 1.85 MAE (kcal/mol) →（値は概算）
④ 主な結果 (b) 精度 vs 速度トレードオフ（50原子分子）
0 30 60 90 120 0 0.5 1.0 1.5 1.0 UMA-m UMA-s Orb MACE-OFF24 AIMNet2 FeNNix-S AceFF-1.1 速度 (steps/sec) →（概算） MAE ↑
④ 主な結果 (c) 推薦モデル早見表
用途推薦モデルMAEライセンス
最高精度UMA-m-1.10.55*Open
精度+速度Orb-v3-omol0.72*Permissive
精度+速度UMA-s-1.10.80*Open
速度最優先AIMNet21.45*Permissive
商用必須MACE-OFF24(M)1.10*Permissive
高速・中精度FeNNix-Bio1(M)1.25*Restricted

*概算値。詳細はarXiv:2601.16331 Table 2参照

1/r Coulomb項は精度向上の明確な証拠なし
④ 主な結果 (d) メモリ・スケーリング特性

重要知見: メモリはモデルサイズと独立

  • UMA-s-1.1（150Mパラメータ）→ 最大水ボックス完走
  • Egret-1（3.6Mパラメータ）→ 2つの小水ボックスのみ
O(N) vs O(N²)
MACEはO(N)、FeNNix-Bio1はO(N²)スケーリング。AIMNet2はサブリニア（超大系最速候補）

UMA turboモード: 高速だがメモリ急増。H100 80GBで大系はスイッチバック必要。

⑤ テイクホームメッセージ
  • 化学精度（MAE < 1 kcal/mol）達成モデルはUMA-m-1.1・UMA-s-1.1・Orb-v3-omolの3つのみ
  • 精度はパラメータ数×訓練データ量で決まる。1/r Coulomb項は明確な利点なし
  • 速度・メモリはアーキテクチャ依存（モデルサイズと独立） — 注意が必要
  • lib/mdのMLIPバックエンド選定: 創薬MD用途にはOrb-v3-omol（精度・速度・permissive license）を推薦
  • GitHub: github.com/peastman/mlipbenchmarks で再現スクリプト公開
arXiv:2601.16331 | Eastman, Pretti & Markland (Stanford, 2026) | Category: machine_learning | Code: github.com/peastman/mlipbenchmarks | Target: lib/md