개요
LingBot-Map은 스트리밍 데이터로부터 장면을 재구성할 수 있는 피드포워드 3D 파운데이션 모델입니다. 기하 컨텍스트 Transformer를 채택하여 좌표 위치 추정, 밀집 기하 단서 및 드리프트 보정을 통합하고, 페이지된 KV 캐시를 통해 약 20 FPS의 긴 시퀀스 추론을 구현합니다.
README 미리보기
\n \n\nLingBot-Map: Geometric Context Transformer for Streaming 3D Reconstruction\n\nRobbyant Team\n\n\n\n\n\n[](https://arxiv.org/abs/2604.14141)\n[](lingbot-map_paper.pdf)\n[](https://technology.robbyant.com/lingbot-map)\n[](https://huggingface.co/robbyant/lingbot-map)\n[](https://www.modelscope.cn/models/Robbyant/lingbot-map)\n[](LICENSE.txt)\n\n\n\nhttps://github.com/user-attachments/assets/fe39e095-af2c-4ec9-b68d-a8ba97e505ab\n\n-----\n\n### 🗺️ Meet LingBot-Map! We've built a feed-forward 3D foundation model for streaming 3D reconstruction! 🏗️🌍\n\nLingBot-Map has focused on:\n\n- **Geometric Context Transformer**: Architecturally unifies coordinate grounding, dense geometric cues, and long-range drift correction within a single streaming framework through anchor context, pose-reference window, and trajectory memory.\n- **High-Efficiency Streaming Inference**: A feed-forward architecture with paged KV cache attention, enabling stable inference at ~20 FPS on 518×378 resolution over long sequences exceeding 10,000 frames.\n- **State-of-the-Art Reconstruction**: Superior performance on diverse benchmarks compared to both existing streaming and iterative optimization-based approaches.\n\n---\n\n## 📑 Table of Contents\n\n\nClick to expand\n\n- [📰 News](#-news)\n- [📋 TODO](#-todo)\n- [⚙️ Installation](#️-installation)\n- [📦 Model Download](#-model-download)\n- [🚀 Quick Start](#-quick-start)\n- [🎬 Interactive Demo (`demo.py`)](#-interactive-demo-demopy)\n - [Try the Example Scenes](#try-the-example-scenes)\n - [Streaming with Keyframe Interval](#streaming-with-keyframe-interval)\n - [Windowed Inference (for long sequences, >3000 frames)](#windowed-inference-for-long-sequences-3000-frames)\n - [Sky Masking](#sky-masking)\n - [Visualization Options](#visualization-options)\n - [Performance & Memory](#performance--memory)\n- [🎥 Offline Rendering Pipeline (`demo_render/batch_demo.py`)](#-offline-rendering-pipeline-demo_renderbatch_demopy)\n- [📜 License](#
FAQ (2)
informational논문에는 Oxford Spires 장면이 13개라고 되어 있는데 나열된 시퀀스는 총 14개인 이유는 무엇이며, 실제로 평가된 시퀀스는 어떤 것들입니까?
"13개 장면"이라는 설명은 오타입니다. 목록에는 14개의 시퀀스가 포함되어 있습니다. 저자들은 처음에 14개 모두를 평가하여 ATE RMSE = 5.59를 얻었지만, 4개 장면에서 포즈와 포인트 클라우드가 정렬되지 않았음을 발견했습니다. 따라서 최종 논문에는 10개 장면에 대한 결과가 ATE RMSE = 6.42로 보고되었습니다.
제외된 시퀀스:
- blenheim-palace-01: 4.116
- blenheim-palace-02: 3.687
- blenheim-palace-05: 2.567
- christ-church-01: 3.6793
포함된 시퀀스 및 사용 가능한 시퀀스별 ATE 값(처음 320프레임, 12프레임마다 샘플링):
- bodleian-library-02: 9.592
- christ-church-02: 3.2969
- christ-church-03: 0.4530
- christ-church-05: 35.987
- keble-college-02: 3.016
- keble-college-03: 1.957
- keble-college-04, keble-college-05, observatory-quarter-01, observatory-quarter-02가 포함되어 있지만, 개별 값은 토론 스레드에서 잘렸습니다.
저자들은 장면 설명이 다음 논문 버전에서 수정될 것이라고 밝혔습니다.
문제 해결Oxford Spires Table 2 결과를 재현하는 데 어떤 checkpoint가 사용됩니까?
Table 2 Oxford Spires 결과에는 **lingbot-map.pt의 160번째 에포크 체크포인트**를 사용하세요. 유지 관리자들은 lingbot-map.pt와 lingbot-map-long.pt 모두 Table 2에 보고된 값보다 더 나은 ATE를 달성할 수 있다고 밝혔지만, lingbot-map-long.pt는 해당 표에 사용된 체크포인트가 아닙니다. AUC는 **DA3 pose-AUC 계산**을 따르세요. 정확한 이미지 전처리, crop/resize, intrinsics 처리 및 공식 평가 코드는 스레드에 제공되지 않았습니다. 유지 관리자들은 평가 코드가 공개될 것이라고 말했으므로, 남은 AUC 격차는 해당 공식 코드를 사용하여 해소하세요.