Ai Infrastructure

LMCache

LLMのKVキャッシュを永続化可能で、エンジンを跨いで再利用可能な「AI知識」に変え、推論を高速化する。

エンジン非依存のKVキャッシュ管理層により、大規模モデルの推論をより高速かつリソース効率よくし、永続化キャッシュのセッション間再利用をサポートします。