Nested TMAPs to Visualize Billions of Molecules
REAL 9.6B の make-on-demand 化合物空間を MQN+PQ+PQk-Means+2 段 TMAP でワークステーション可視化
🎯 9.6 億分子を 2 クリックで個別分子まで掘り下げる Web 可視化。Reymond 研の TMAP 系譜を nest 化で 1000 倍スケール
① 背景と課題

Enamine REAL のような make-on-demand ライブラリは 96 億分子規模に到達し、研究者が空間を直観的にブラウジングするニーズが急増している。だが既存の可視化ツールは数十億規模で計算もブラウザレンダリングも破綻する。

UMAP / t-SNE は 10^9 でメモリ・時間ともに非現実的
オリジナル TMAP は数千万規模が実装上の限界
巨大ライブラリの全体構造把握とドリルダウンを両立する手段が不足

→ 2 段 nest で粗→密のブラウジングを単一ワークステーションで実現したい

② 手法: Nested TMAP
REAL 9.6B SMILES iter make-on-demand MQN-42 42-d integer FP atoms / bonds / rings / polar / topo RDKit PQ codebook faiss-style n_subvec × cb_size PQk-Means ~10^4 clusters / 4.5h Primary TMAP representatives / MQN Secondary TMAP cluster contents / ECFP4 Nested TMAP pipeline (6 stages)

MQN(42-d) → PQ codebook → PQk-Means → centroid 代表 → primary TMAP → secondary TMAP の 6 段

③ 本研究で示したこと
  • 96 億分子の Enamine REAL を 4.5 h on a workstation で全段処理
  • PQk-Means 再実装で C++ 参照の 29 倍、自前 CPU 並列の 2 倍速
  • primary (MQN) + secondary (ECFP4) の 2 段 nest で 2 クリックで個別分子へ
  • https://chelombus.gdb.tools/databases/real-database に公開インスタンス
④ (a) クラスタリング時間
Clustering time on 9.6B mols (h) 150 100 50 0 ~130 Ref C++ PQk-Means ~9 Auth parallel CPU 4.5 New impl (29x)
④ (b) Cluster size 分布
Cluster size distribution (log) 10^7 10^6 10^5 10^4 cluster rank →
④ (c) Drill-down funnel
Drill-down navigation funnel REAL 9.6 billion molecules ~10^4 cluster representatives Primary TMAP (click 1) Secondary TMAP (click 2) 単一分子
④ (d) 6 段パイプライン
StageOperationTool
1MQN-42 計算RDKit
2Product Quantization codebookFAISS
3PQk-Means クラスタリング新規実装 (Py)
4centroid → 代表分子nearest-neighbor
5Primary TMAP (MQN)tmap (Probst 2020)
6Secondary TMAP (ECFP4)tmap
⑤ テイクホームメッセージ
📊 MQN は PQ 親和性最高
42-d 整数 FP のため Product Quantization で大幅圧縮、PQk-Means と最高に相性良い。
PQk-Means 29x
Python+NumPy で C++ 参照の 29 倍、CPU 並列の 2 倍速を達成。
🎯 2 段 nest 構造
primary で大局、secondary で粒度 → 2 クリックで個別分子に。
🌐 workstation で 9.6B
クラウドや HPC 無しで運用可能、再現容易。
推奨パラメータ
パラメータ推奨
primary descriptorMQN-42
secondary descriptorECFP4 (radius 2)
n_clusters (primary)~10,000
PQ sub-vectors6
codebook size256
TMAP layouttmap PyPI
本研究のインパクト
  • 10^9 分子規模の合成可能空間を実用的に可視化可能に
  • 創薬研究者の "似たもの探し" と "新しい骨格探し" を直観 UI で同時提供
  • PQ+TMAP の組合せが他の高次元化学空間 (Pharmacophore, ESM など) にも転用可能