AMORE — Measuring Chemical LLM Robustness to SMILES Variations

AMORE: Measuring Chemical LLM Robustness to SMILES Variations

Ganeeva, Khrabrov, Kadurin & Tutubalina — Journal of Cheminformatics 17:164 (2025) | DOI: 10.1186/s13321-025-01079-0

化学LLMは「同じ分子の別表記SMILES」を同一と認識できるか？埋め込み距離で測るzero-shot評価フレームワークを提案・大規模検証

① 背景と課題

SMILESを入力とする化学言語モデル（ChemLM）は分子生成・物性予測でSOTA。しかし1つの分子は原子順・環番号・水素表記・芳香性表現の違いで多数の有効なSMILESを持つ。理想的なモデルなら、これら「同一性変換」後も同じ分子と認識すべきである。

既存評価（BLEU/ROUGE/METEOR）は単語重なりベースで、化学的に重要な構造差を検出できず高価なラベルを要する

BERTScore/BLEURT等の埋め込み指標も一般テキストで訓練され化学の微差を見落とす

→ RQ: 評価指標はモデルの化学知識を反映しているか、それとも文字列特徴の模倣に過ぎないか？

② AMORE手法

分子 SMILES x_i
↓
RDKit 同一性変換 f（5種）
↓
encoder で mean-pooled 埋め込み
e(x_i), e(x'_j)
↓
FAISS 最近傍検索（L2）
↓
Acc@1 / Acc@5 / MRR

AMORE

ラベル不要・zero-shotの埋め込みベース堅牢性評価

5変換: canon・hydro（明示的水素）・kekul・cycle（環番号置換）・random（原子順）。すべて下層分子を変えない identity 変換。

③ 計算化学パイプラインへの応用

実装ギャップ: 同一性変換オーグメンター・FAISS retrieval評価器・層別probingがlib/molgenに未実装

④ 主な結果 (a) 変換別の難易度 Acc@1 (ChEBI-20, Text+Chem T5-augm)

明示的水素付加(hydro)が最難。Acc@1=5.6%まで急落し、全モデルで一貫して最も苦手。

④ 主な結果 (b) 下流タスク劣化 (ESOL RMSE)

ESOL回帰のRMSEが0.87→7.93へ。BACE二値分類でもPubChemDeBERTaが0.80→0.38に低下。

④ 主な結果 (c) AMORE と既存指標の整合

AMOREのAcc@1差分が、ラベル必須のROUGE/METEORの劣化と強く相関することを確認。

ρ > 0.7

Acc@1 と caption指標差分の Spearman相関（p=0.003）

zero-shot

ラベル付きデータ不要、SMILES集合だけで評価可能

12 models

BERT/GPT/T5系（6M〜770M）をChEBI-20・Isomersで評価

→ ラベルなしで下流タスクの劣化を予測できる実用的な評価ツール。

④ 主な結果 (d) 主要な発見

限界: HF公開モデルのみ評価（Chemformer等は除外）。3D構造・SELFIES等の他表記は未探索。