LMCache

主な機能

• エンジン独立デプロイ：キャッシュは推論エンジンから独立して動作し、エンジンがクラッシュしてもキャッシュは失われない。
• 多層オフロードと再利用：KVキャッシュをGPUからCPU、ローカルディスク、Redisなどにオフロードし、リクエスト間、セッション間での再利用をサポート。
• 非プレフィックスキャッシュ再利用：CacheBlend技術を利用し、プロンプトの任意の位置でキャッシュブロックを再利用可能。プレフィックス一致に制限されない。
• プロダクションレベルの可観測性：ヘルスモニタリング、パフォーマンス診断、トークンレベルのキャッシュヒット率などの豊富なメトリクスを提供。
• プラグ可能なストレージバックエンド：統一インターフェースでCPUメモリ、SSD、Redis/Valkey、S3などの多様なバックエンドをサポート。さらにRDMAおよびTCP転送もサポート。

できないこと

• •初回使用時はキャッシュバックエンドの設定が必要です。デフォルトではCPUメモリのみを使用しますが、メモリが不足しているマシンには適さない場合があります。
• •非プレフィックスキャッシュ再利用（CacheBlend）はより多くの計算リソースを必要とする可能性があるため、利用シーンに応じて有効化するかを評価することを推奨します。
• •アンインストール後、以前のキャッシュデータは自動的に削除されません。ディスク容量を解放する必要がある場合は、手動でキャッシュディレクトリを削除してください。

使用例

• 長文脈エージェント対話（多ターンQ&A、エージェントワークフローなど）において、繰り返しのプリフィル時間を短縮する。知識拡張生成（RAG）シナリオにおいて、事前計算された知識キャッシュを再利用し、応答速度を向上させる。

詳細説明

タグ

はじめ方