概要
LingBot-Map は、ストリーミングデータからシーンを再構築できるフィードフォワード型の 3D 基盤モデルです。幾何コンテキスト Transformer を用いて座標ローカライゼーション、密な幾何学的手がかり、ドリフト補正を統一し、ページングされた KV キャッシュにより約 20 FPS の長シーケンス推論を実現します。
README プレビュー
\n \n\nLingBot-Map: Geometric Context Transformer for Streaming 3D Reconstruction\n\nRobbyant Team\n\n\n\n\n\n[](https://arxiv.org/abs/2604.14141)\n[](lingbot-map_paper.pdf)\n[](https://technology.robbyant.com/lingbot-map)\n[](https://huggingface.co/robbyant/lingbot-map)\n[](https://www.modelscope.cn/models/Robbyant/lingbot-map)\n[](LICENSE.txt)\n\n\n\nhttps://github.com/user-attachments/assets/fe39e095-af2c-4ec9-b68d-a8ba97e505ab\n\n-----\n\n### 🗺️ Meet LingBot-Map! We've built a feed-forward 3D foundation model for streaming 3D reconstruction! 🏗️🌍\n\nLingBot-Map has focused on:\n\n- **Geometric Context Transformer**: Architecturally unifies coordinate grounding, dense geometric cues, and long-range drift correction within a single streaming framework through anchor context, pose-reference window, and trajectory memory.\n- **High-Efficiency Streaming Inference**: A feed-forward architecture with paged KV cache attention, enabling stable inference at ~20 FPS on 518×378 resolution over long sequences exceeding 10,000 frames.\n- **State-of-the-Art Reconstruction**: Superior performance on diverse benchmarks compared to both existing streaming and iterative optimization-based approaches.\n\n---\n\n## 📑 Table of Contents\n\n\nClick to expand\n\n- [📰 News](#-news)\n- [📋 TODO](#-todo)\n- [⚙️ Installation](#️-installation)\n- [📦 Model Download](#-model-download)\n- [🚀 Quick Start](#-quick-start)\n- [🎬 Interactive Demo (`demo.py`)](#-interactive-demo-demopy)\n - [Try the Example Scenes](#try-the-example-scenes)\n - [Streaming with Keyframe Interval](#streaming-with-keyframe-interval)\n - [Windowed Inference (for long sequences, >3000 frames)](#windowed-inference-for-long-sequences-3000-frames)\n - [Sky Masking](#sky-masking)\n - [Visualization Options](#visualization-options)\n - [Performance & Memory](#performance--memory)\n- [🎥 Offline Rendering Pipeline (`demo_render/batch_demo.py`)](#-offline-rendering-pipeline-demo_renderbatch_demopy)\n- [📜 License](#
FAQ (2)
informationalなぜ論文には Oxford Spires のシーンが13と記載されているのに、列挙されているシーケンスの合計は14なのでしょうか。また、実際に評価されているシーケンスはどれなのでしょうか。
「13シーン」という記述は誤植です。このリストには14のシーケンスが含まれています。著者らは当初14すべてを評価し、ATE RMSE = 5.59を得ましたが、4つのシーンでポーズと点群の位置ずれがあることが判明しました。そのため、最終的な論文では10シーンの結果が報告されており、ATE RMSE = 6.42となっています。
除外されたシーケンス:
- blenheim-palace-01: 4.116
- blenheim-palace-02: 3.687
- blenheim-palace-05: 2.567
- christ-church-01: 3.6793
含まれるシーケンスと利用可能なシーケンスごとのATE値(最初の320フレーム、12フレームごとにサンプリング):
- bodleian-library-02: 9.592
- christ-church-02: 3.2969
- christ-church-03: 0.4530
- christ-church-05: 35.987
- keble-college-02: 3.016
- keble-college-03: 1.957
- keble-college-04、keble-college-05、observatory-quarter-01、observatory-quarter-02も含まれていますが、これらの個別の値はディスカッションスレッドで途切れていました。
著者らは、シーンの記述は論文の次のバージョンで修正されると述べています。
トラブル対応Oxford SpiresのTable 2の結果を再現するには、どのチェックポイントを使用しますか？
Table 2 の Oxford Spires の結果には、**lingbot-map.pt の 160 エポック目のチェックポイント**を使用してください。メンテナーは、lingbot-map.pt と lingbot-map-long.pt の両方が、報告されている Table 2 の値よりも優れた ATE を達成できると述べていますが、lingbot-map-long.pt はその表に使用されたチェックポイントではありません。AUC については、**DA3 の pose-AUC 計算**に従ってください。正確な画像前処理、crop/resize、intrinsics の扱い、および公式の評価コードはスレッド内では提供されていませんでした。メンテナーは評価コードが公開される予定だと述べているため、その公式コードを使用して残っている AUC の差異を解消してください。