Benchmarking Generative AI Against Bayesian Optimization for Constrained Multi-Objective Inverse Design
制約付き多目的逆設計（物性 Y→組成 X）で fine-tune LLM と最先端 BO を同条件比較 ｜ arXiv:2511.00070 [cs.LG] (2025)
🎯 望ましい物性ベクトル Y から実現可能な組成 X を出す逆設計を QLoRA 微調整 LLM の zero-shot 回帰として解き、qEHVI など最先端 BO と GD/IGD/HV/SP/MS で公平にベンチマークする。
① 背景と課題

逆設計（逆 DoE）は材料情報学の中核課題で、Pareto 最適フロント上の実現可能な入力を探す。著者は確立された Bayesian Optimization（BoTorch/Ax・qEHVI）と fine-tune LLM/BERT を同一予算・同一シードで厳密比較。生成側は逆設計を zero-shot 回帰として捉え直し、PEFT で LLM を微調整して連続値出力 MLP ヘッドを付与する。

進化計算（GA/NSGA-II）は勾配不要だが収束に数百〜数千評価を要しサンプル効率が悪い
BO は GP 推論が O(N³) でスケールし、データ豊富な大規模応用ではコストが課題
純粋生成型は質量バランス・熱力学的安定性など非交渉制約を厳密に強制できず実現可能率 60–80%（Constraint Rigor Gap）

→ 反復サロゲート不要の zero-shot LLM 回帰を BO と同じ MOO 指標で公平比較し、制約厳密性を CAFT で生成側に組込む

② 手法: QLoRA-LLM 逆設計回帰器 + CAFT
Y→X 逆設計回帰器 物性ベクトル Y Potlife/Viscosity/Adhesion/Hardness 凍結 LLM バックボーン WizardMath/DialoGPT/Mistral (4bit QLoRA+LoRA) MLP 回帰ヘッド トークン列でなく連続値を回帰 組成 X Vinyl/Polyols/… 8 配合変数
QLoRA (4bit + LoRA)
制約を損失に直接組込む Constraint-Aware FT (CAFT) で実現可能性を担保

推論は zero-shot 即時（反復サロゲート不要）。比較対象は最先端 qEHVI と BoTorch/Ax。

③ 本研究で示したこと（要点）
  • 汎用 LLM を反復サロゲート不要の zero-shot 回帰として逆設計に直接適用
  • qEHVI と同じ土俵で GD/IGD/HV/SP/MS の確立指標により公平ベンチマーク
  • 制約厳密性を生成側に組込む Constraint-Aware Fine-Tuning (CAFT) を提案
  • 収束精度=LLM、解の多様性=BERT という役割分担を定量的に観察
④ 主な結果 (a) GD収束
1.21 WizardMath 2.45 DialoGPT 15.03 Ax(BO) 65.25 Mistral GD（収束, ↓良）

qEHVI が GD=0.00 で完全収束（上限）。WizardMath-7B GD=1.21 が汎用 BO(Ax 15.03) を圧倒。

④ 主な結果 (b) IGD
1.29 WizardMath 27.21 Ax(BO) IGD（収束+多様性, ↓良）

WizardMath は IGD=1.29、Ax ベースライン 27.21 を大きく上回る。

④ 主な結果 (c) 解の多様性
41 SciBERT 37 ChemBERTa Pareto 非劣解サイズ（多様性）

BERT 系が最大の非劣解集合を生成。収束精度=LLM、多様性=BERT の役割分担。

④ 主な結果 (d) 効率・指標
0.00 s
fine-tune 後の LLM 推論時間（zero-shot 即時予測）
GD 1.21 / IGD 1.29
WizardMath-7B（完全収束の qEHVI=0.00 に肉薄）
O(N³) 回避
BO は GP 推論が O(N³) でスケール。LLM 回帰はこのボトルネックを回避
⑤ テイクホームメッセージ
🤖 zero-shot逆設計
QLoRA-LLM が Y→X を 1-shot 出力、推論実質 0 秒。
🥇 BO超え
WizardMath-7B GD=1.21 が汎用 BO(Ax 15.03) を圧倒。
⚖️ 役割分担
収束精度=LLM、解の多様性=BERT。
🔗 二段活用
速い生成で初期化＋厳密 qEHVI/FEP で収束保証。
収束(GD)ランキング・特性
手法GD↓特性
qEHVI (BO)0.00完全収束・最適サンプル効率（性能上限）
WizardMath-7B1.21最良 LLM・推論即時
DialoGPT-med2.45有望な汎用 LLM
BoTorch Ax15.03実装容易だが既定設定で大きく劣化
Mistral-7B65.25FT 無しでは科学回帰に不向き
本研究のインパクト
  • lib/molgen: 「物性 Y→組成 X」を 1-shot 出力する QLoRA-LLM 逆設計回帰器を高速プリスクリーナーに。後段 FEP/docking へ少数精鋭候補のみ渡し、BO の warm start にも転用
  • lib/fep: qEHVI と HV/GD/IGD/SP/MS を MMGBSAEngine/FEP の多物性同時最適化の収束評価軸として導入し、Pareto フロント品質を Hypervolume で定量化
  • lib/molgen: CAFT 由来の可微分制約ペナルティ（質量バランス・配合上下限）を MolgenYaml のスコアラ/制約に再利用し無効候補を抑制
Benchmarking Generative AI Against Bayesian Optimization for Constrained Multi-Objective Inverse Design. arXiv:2511.00070 [cs.LG]. 2025. https://github.com/mbilalawan/BenchGenAIBO