Meta Quest 3＋トラッカー・グローブ自動車・物流・製造業向け
Qoocan（クーキャン）
フィジカルAIのための動作データ収集ツール
FEATURE
Qoocanの3つのポイント
01
動きと目線を同時に記録・再生
Meta Quest 3に身体トラッカーとデータグローブを組み合わせ、熟練者の姿勢・動作速度・指先の動きと作業者視点の映像を同時に記録。作業の流れを再生し、動きと目線を確認できます。
02
Physical AI × Roboticsへ熟練者の動きを展開
記録した骨格・手指データを外部ツールで学習用の形式に変換。Isaac Simでの動作検証やIsaac Labでの模倣学習を経て、ヒューマノイドやロボットへの技能展開に活用します。
03
熟練者の動きを新人がゴーグルで学ぶ
新人がゴーグルを装着し、熟練者の動きと作業者視点の映像を再生。姿勢・動作速度・目線・指先の使い方を繰り返し確認し、紙のマニュアルだけでは伝わりにくい技能を学べます。
SYSTEM
システム構成
Qoocanアプリ
骨格・手指データ（JSON）
作業者視点の映像（MP4）
記録・保存
ゴーグルで再生・新人教育
外部連携で学習・動作検証
Qoocanが担うのは技能データの記録・保存。新人教育への活用に加え、外部ツールでのデータ変換・学習・検証を通じてロボットへの展開を進めます。インターネット・クラウドを使わず、閉鎖されたネットワーク環境で技能データを管理できます。
VALUE
現場課題をどう解決するか
よくある課題
Qoocanの活用
熟練者の暗黙知が、紙だけでは伝わりにくい
作業者視点＋身体・手指の動きで技能を残す
新人教育はOJT任せで指導にばらつきがある
ゴーグルで熟練者の動きを繰り返し学ぶ
将来のロボット化・Physical AIに備えたい
模倣学習や動作検証に使う技能データを蓄積
WORKFLOW
人の作業が、ロボットの動きになるまで
1
Qoocan：記録
記録
Meta Quest 3
＋身体トラッカー
＋データグローブ
で作業を記録
2
Qoocan：保存
保存
JSON：骨格・手指
MP4：作業者視点
3
外部連携
Python
変換
学習環境に合わせて
NPZ／HDF5等
の形式に変換
4
外部連携
Isaac Sim／Lab
学習・検証
Isaac Simで動作検証
Isaac Labで模倣学習
3DGS空間での強化学習へ
5
外部連携
ロボット制御
実機へ
学習済みモデルをロボット制御ソフトに組み込み、実機への展開へ
CONNECT
3DGS空間をフィジカルAIの学習・検証へ
都産技研と、3DGS（3D Gaussian Splatting）データの高速生成に関する共同研究を実施。現場を再現した3DGS空間と動作データを組み合わせ、フィジカルAI開発への3DGS導入を進めています。
- 現場環境を3DGSデータとして再現
- Isaac Simでの動作検証・Isaac Labでの模倣学習
- 3DGS空間での強化学習への展開
USE CASE
想定活用シーン
物流
- ピッキング・仕分け作業の動作記録
- 熟練者の作業を新人教育に活用
- 物流ロボットの学習・検証用データを蓄積
自動車・製造
- 部品の組付け・検査・塗装作業の技能記録
- 身体・手指の動きを再生して技能を継承
- 作業分析・ロボット学習データ化
