onnxruntime

ONNX Runtime는 마이크로소프트가 출시한 크로스 플랫폼 머신러닝 추론 및 훈련 가속기입니다. PyTorch, TensorFlow/Keras 등 딥러닝 프레임워크와 scikit-learn, LightGBM, XGBoost 등 클래식 머신러닝 라이브러리의 모델 추론을 가속화하여 사용자 경험을 크게 향상시키고 비용을 절감합니다. ONNX Runtime은 다양한 하드웨어, 드라이버 및 운영 체제와 호환되며 하드웨어 가속과 그래프 최적화를 통해 최상의 성능을 구현합니다. 훈련 측면에서는 기존 PyTorch 훈련 스크립트에 한 줄의 코드만 추가하면 다중 노드 NVIDIA GPU에서 Transformer 모델 훈련을 가속화할 수 있습니다. PyTorch 또는 TensorFlow에서 직접 추론을 실행하는 것과 비교하여 ONNX Runtime은 통합 최적화 런타임을 제공하며 하드웨어 지원 범위가 더 넓고 지연 시간이 더 낮아 프로덕션 환경 배포에 더 적합합니다. 이 프로젝트는 MIT 라이선스를 채택하고 있으며 커뮤니티가 활발하고 지속적으로 업데이트됩니다.