llmfit

주요 기능

• 시스템 하드웨어(RAM, VRAM, CPU, GPU 백엔드)를 자동 감지하여 수동 구성이 필요 없습니다.
• 수백 개의 모델에 대해 네 가지 차원의 점수(메모리 적합도, 속도, 품질, 컨텍스트 길이)를 제공합니다.
• 멀티 GPU, 혼합 전문가(MoE) 아키텍처(Mixtral, DeepSeek-V3 등) 및 주요 로컬 실행 프레임워크(Ollama, llama.cpp, MLX)를 지원합니다.
• 대화형 TUI 인터페이스(기본 모드)와 CLI 모드를 제공하여 다양한 사용 시나리오를 충족합니다.
• 내장 벤치마크 기능을 통해 실제 token/s를 측정하고, 원클릭으로 결과를 커뮤니티에 기여할 수 있습니다.

할 수 없는 것

• •속도 추정은 메모리 대역폭 모델을 기반으로 하며, 실제 성능은 시스템 부하, 방열 등의 요소에 영향을 받습니다. `llmfit bench`를 실행하여 실제 데이터를 얻을 수 있습니다.
• •모델 디렉토리는 기본적으로 내장 데이터베이스에서 가져옵니다. 사용자 정의 모델을 추가하려면 custom-models 문서를 참조하십시오.
• •TUI를 처음 실행할 때 글꼴 또는 의존성(예: kitty 터미널)을 설치해야 할 수 있습니다. 최신 터미널 에뮬레이터를 사용하는 것이 좋습니다.

사용 사례

• 자신의 노트북에서 오픈소스 LLM을 실행하고 싶지만 어떤 모델을 선택할지 모를 때, llmfit으로 한 번 스캔하여 추천 순위를 받아보세요.
• AI 애플리케이션을 개발할 때 다양한 하드웨어 구성에 맞는 모델을 선택해야 하는 경우, CLI 모드로 추천 JSON을 일괄 생성하세요.

상세 설명

태그

시작하기