LitSense 2.0: AI-powered biomedical information retrieval with sentence and passage level knowledge discovery
Yeganova, Kim, Tian, Comeau, Wilbur & Lu — Nucleic Acids Research 53, W361–W368 (2025) | DOI: 10.1093/nar/gkaf417
🎯 PubMed/PMCの14億文・3億段落を「文・段落」粒度で意味検索：MedCPT埋め込み×語彙検索の2段ハイブリッドで横断検索を実現
① 背景と課題

キーワード検索（PubMed/PMC）は、文や段落のような文脈豊富な長いクエリに弱く、語彙重複が乏しいが意味的に関連する論文を取りこぼす。さらに PubMed と PMC はコンテンツが重複しながら別システムで、研究者は両者を個別に検索せねばならず網羅的探索を妨げている。

具体例：ある一文をPubMedにそのまま入れると0件。関連論文は存在するのに到達できない
Europe PMCは横断検索するが「文・段落単位では返さない」。Scholar/Semantic Scholarも段落クエリで頻繁に失敗

→ 文・段落を検索単位として索引化し、語彙検索＋密ベクトル意味検索の2段で横断的に返す

② 手法概要（2段ハイブリッド）
クエリ（文 / 段落）
↓
phase1 語彙検索
文=IDF（60%→30%緩和）
段落=BM25（30%→10%緩和）
↓
上位 N=100 候補
↓
phase2 MedCPT埋め込み
cos類似度 × 語彙スコア 線形結合
（重みαはグリッドサーチ）
↓
再ランク結果＋エンティティ強調
MedCPT
PubMedBERT を PubMedクリックログでFT。query/article 2系統エンコーダ。埋め込みは全件事前計算

初代の sent2vec を MedCPT に置換。フロント Angular／バック Django、週次更新。PubTator 3.0 で遺伝子・化学物質・疾患等を強調。

③ 計算化学パイプラインへの応用
  • lib/molgen: 論文inbox自体の意味検索化。auto/review を文・段落で索引し重複・関連を自動検出
  • lib/docking: 標的・化学型の文献エビデンスを定量化しLBVS/SBVSのスコア・フィルタへ反映
  • lib/molgen: ケムインフォ・コーパスのRAG retriever。SAR根拠をgroundedにLLMへ供給
  • 全般: 「語彙＋密ベクトル線形結合」「閾値緩和でリコール確保」の設計を移植
実装ギャップ: 密ベクトルDB(FAISS等)・2段ハイブリッド再ランク・文献エビデンススコアラがlibに未実装
④ 主な結果 (a) 文検索 NDCG/MAP（CDD 25クエリ）
0.586 IDF 0.746 LitSense 0.799 v2.0 MAP 0.586→0.799 0.0 1.0 文検索 MAP（CDD）

sent2vec→MedCPT 置換で段階的に改善。NDCGも 0.9110→0.9412→0.9551（v2.0）。改善は統計的有意。

④ 主な結果 (b) 段落検索（RELISH, 5手法）
.821 v2.0 .800 LitS. .786 MedCPT .790 BM25 .770 PMRA .75 .83 NDCG@5（RELISH）

LitSense 2.0 が全5手法中最高。MAP@5 も 0.9515（次点LitSense 0.9433）。全ランクで最良・統計的有意。

④ 主な結果 (c) 規模と運用
14億 文 / 3億 段落
PubMed 約3800万抄録 + PMC OA 約660万全文を索引
25万+ ユーザ / 110+ 国
2018公開以来 900万リクエスト（Web 55% / API 45%）
文 9s / 段落 17s
平均応答時間（埋め込みは全件事前計算済み）

FoodAtlas は LitSense API で23万超の食品-化学物質仮説を抽出、検証443件中355件が新規関係。

⑤ テイクホームメッセージ
  • 生物医学文献を文・段落粒度で横断検索できる唯一級のサービス（PubMed＋PMC統合）
  • 語彙検索＋MedCPT密ベクトルの線形結合が単独手法をいずれも上回る＝両者は相補的
  • 閾値の段階緩和（文60→30%, 段落30→10%）でリコールを確保する実用設計
  • ChatGPTは文検索では人手同等の代替アノテータ。段落検索では未達
限界: 応答が遅い／段落評価がRELISH単独依存／FlagEmbedding等との系統比較は未実施。展望はRAG・自動要約。
DOI: 10.1093/nar/gkaf417 | Nucleic Acids Research 53, W361–W368 (May 2025, Web Server issue) | Service: https://www.ncbi.nlm.nih.gov/research/litsense2/ | Eval data: https://ftp.ncbi.nlm.nih.gov/pub/lu/LitSense2/ | Category: machine_learning