onnxruntime
SHA-256ONNX Runtime はマイクロソフトが開発したクロスプラットフォームの機械学習推論・トレーニングアクセラレーターであり、PyTorch、TensorFlow など複数のフレームワークをサポートし、ハードウェアアクセラレーションとグラフ最適化によってパフォーマンスを向上させ、デプロイコストを削減します。
スマートダウンロード
Download 版をダウンロード
v1.29.0 · 9.6 MB
モデルをより速く、より省リソースで動作させるクロスプラットフォーム加速エンジン。
主な機能
- PyTorch、TensorFlow、scikit-learn など複数のフレームワークのモデルをサポート
- クロスプラットフォームで動作し、Windows、Linux、macOS および多種のハードウェアアクセラレータに対応
- 自動グラフ最適化とハードウェアアクセラレーションにより、推論速度を向上させコストを削減
- トレーニングモードでは、1行のコードだけでマルチノード NVIDIA GPU 上での Transformer モデルのトレーニングを高速化
- 豊富なドキュメント、サンプルリポジトリ、活発なコミュニティサポートを提供
できないこと
- •一部のカスタム演算子または新しい演算子はサポートされない場合があり、先にONNX演算子セットに変換する必要があります;ハードウェアアクセラレータ(CUDA、TensorRTなど)は、対応する実行ライブラリを別途インストールする必要があります;トレーニング高速化は特定のモデル(Transformerなど)とNVIDIA GPU環境にのみ対応しています。
使用例
- 本番環境でのディープラーニングモデルのデプロイ(画像認識、NLP など)
- PyTorch/TensorFlow モデルを ONNX 形式に変換し、統一的に実行して推論を高速化する
詳細説明
ONNX Runtime は Microsoft が発表したクロスプラットフォームの機械学習推論・訓練アクセラレーターです。PyTorch、TensorFlow/Keras などのディープラーニングフレームワークや、scikit-learn、LightGBM、XGBoost などの古典的な機械学習ライブラリのモデル推論を高速化し、ユーザーエクスペリエンスを大幅に向上させ、コストを削減できます。ONNX Runtime は多様なハードウェア、ドライバ、オペレーティングシステムに対応しており、ハードウェアアクセラレーションとグラフ最適化により最適なパフォーマンスを実現します。訓練面では、既存の PyTorch 訓練スクリプトに1行のコードを追加するだけで、マルチノード NVIDIA GPU 上で Transformer モデルの訓練を高速化できます。PyTorch や TensorFlow で直接推論を実行するのに比べ、ONNX Runtime は統一された最適化済みランタイムを提供し、対応ハードウェアがより広く、レイテンシがより低いため、本番環境へのデプロイにより適しています。プロジェクトは MIT ライセンスを採用し、コミュニティは活発で、継続的に更新されています。
タグ
はじめ方
ソフトウェアをインストール
ディストリビューションに合ったパッケージをインストール(dpkg / rpm / AppImage)
ONNX Runtimeをダウンロードしてインストールします(pip install onnxruntimeまたは公式サイトからプリコンパイル済みパッケージを取得できます)
モデルをONNX形式にエクスポートします(PyTorchはtorch.onnx.exportを使用)
コード内でonnxruntimeをインポートし、InferenceSessionを作成して推論を実行します
- ONNX Runtimeをダウンロードしてインストールします(pip install onnxruntimeまたは公式サイトからプリコンパイル済みパッケージを取得できます)
- モデルをONNX形式にエクスポートします(PyTorchはtorch.onnx.exportを使用)
- コード内でonnxruntimeをインポートし、InferenceSessionを作成して推論を実行します
SHA-256 チェックサム確認済み
GitHub 公式 Release ページから抽出されたチェックサム
SHA256 チェックサム
4ca594a0da83927befbd73fe020d7f569be151d70bb4fe9741ad405f4882e2adこのチェックサムは GitHub Release ページから抽出されたものです。ダウンロード後にファイルの整合性を確認してください。
本プラットフォーム上のすべての SHA-256 チェックサムは、プロジェクトの公式 GitHub Release ページから抽出されたもので、一切の改変はありません。GitHub Releases ページで独自に検証できます。
オープンソースの透明性
GitHub ソースを見るアンインストール情報
pip でインストールした場合は、pip uninstall onnxruntime を実行すればアンインストールできます。カスタムインストールの場合は、対応するインストールディレクトリと PATH 内の関連エントリを削除してください。
追加の依存関係なし
ダウンロード後すぐに使用可能。追加のランタイムは不要です。