AgentChemist: A Multi-Agent Experimental Robotic Platform Integrating Chemical Perception & Precise Control
ゴール: 「長尾タスク」(滴定終点・例外・装置差異) を 5 エージェント FSM で動的に処理し、化学実験の自律性を実用域へ
1背景と課題
既存ラボ自動化は標準手順に強く長尾タスクに弱い。
- Rigid Protocols: 動的ワークフロー欠如
- Blind Execution: リアルタイム反応フィードバック欠如
- Fragile Adaptation: 例外で破綻 (滴定終点、容器配置差異)
2手法の概要
5 エージェント × FSM で perception-control を動的協調。
- Planner: NL 指示 → atomic subtask + FSM (Q, Σ, δ, q0, F)
- Vision/Audio Supervisor: Qwen3-VL + Qwen2-Audio-7B
- Action: Audio-VLA (Florence-Base + Audio-CLIP + Transformer × 12) → ALOHA arm
- Summarizer: 状態履歴 + データ → 自然言語レポート
3本研究で示したこと
vision に頼らない接触音が long-tail で本質的に効く。
- 透明容器・無色液体の滴定終点を vision+contact audio で end-to-end 検出
- 滴下速度を adaptive 調整、over-shoot 回避
- FSM の anomaly 状態へ遷移 → Planner が代替手順を再 plan
- autonomous progress tracking + adaptive dispensing + 自動レポートを実証
4主な結果 (図解)
A. 5 エージェント × FSM
Planner / Vision / Audio / Action / Summarizer
FSM の状態遷移を Vision/Audio が駆動。
B. Audio-VLA 構造
video+audio+text → ALOHA control
統一 latent 空間で関節軌道を生成。
C. 滴定 task
vision-only では捕捉不能
音と視覚の hard constraint で終点判定。
D. 失敗 mode のリカバリ
Anomaly → Planner 再 plan
FSM レベルで例外を組み込み。
5テイクホームメッセージ
1. 化学実験自動化の本質課題は long-tail。Rigid script では限界。
2. 接触音 (Qwen2-Audio) を一級観測にすると、透明容器・無色液体の問題が解ける。
3. Planner と Validator を分離した FSM 駆動 multi-agent が anomaly handling を architecture レベルで保証。
4. 社内応用: lib/molgen の Job Runner を FSM × validator agent 化、生成・docking パイプラインの self-healing を実現。