Question 1

왜 oMLX oQ 양자화가 'sensitivity measurement produced no scores' 오류로 실패하나요?

Accepted Answer

이 오류는 oMLX 0.4.0 이전 버전의 버그로 인해 발생합니다. 이 버그에서는 모델에 실제 mtp.* 텐서가 없더라도 설정에 의해 Preserve MTP 옵션이 활성화됩니다. 이 문제를 해결하려면 oMLX 0.4.0 이상으로 업그레이드하세요. 업그레이드가 불가능한 경우, ~/.omlx 디렉토리를 삭제하고 서버를 처음부터 다시 구성하는 우회 방법을 사용하세요.

Question 2

macOS에서 oMLX 0.4.0rc1의 "App Transport Security policy requires the use of a secure connection" 오류를 해결하는 방법은?

Accepted Answer

oMLX를 0.4.0rc1에서 0.4.0rc2 이상으로 업그레이드하세요(안정 버전인 0.4.0 릴리스에도 해당 수정 사항이 포함되어 있습니다). 이 버그는 Swift UI가 `http://0.0.0.0/...`에 연결을 시도했으나 macOS가 App Transport Security 정책에 따라 이를 차단했기 때문에 발생했습니다. 수정된 버전은 서버가 여전히 `0.0.0.0`에 바인딩될 수 있도록 하면서 UI를 `127.0.0.1`을 통해 연결합니다. 업그레이드 후 oMLX를 재시작하고 모델이 로드되며 서버가 시작되는지 확인하세요.

Question 3

클라이언트 연결이 끊어진 후에도 oMLX Splash 외부 엔진이 계속 생성을 이어가는 이유는 무엇인가요?

Accepted Answer

이것은 oMLX 0.7.1.dev2의 알려진 버그입니다. 클라이언트가 스트리밍 요청을 중단하면 Splash 요청이 취소되지 않고 `max_tokens`까지 계속 실행되며, 연결이 `CLOSE_WAIT` 상태로 누수되고, 대기열의 요청들이 멈춥니다. 원인: oMLX의 SSE keepalive 래퍼가 Starlette가 이미 취소한 응답 스코프에서 내부 태스크를 await했기 때문에, httpcore가 Splash 연결을 닫는 동안 anyio가 이를 두 번째로 취소했습니다. Splash는 자신의 연결이 닫힐 때만 취소하므로 생성을 계속했습니다. 해결 방법: drain이 shield 처리된 커밋 `bb46453d9` 이상의 `main` 브랜치 빌드로 업데이트하세요. 업그레이드 후에는 스트리밍 및 비스트리밍 요청 모두에서 클라이언트 연결이 끊기는 즉시 Splash가 `Cancelled`를 로깅합니다. 참고: oMLX의 인프로세스 엔진은 영향을 받지 않으며, 이 버그는 "Use external engine"(Splash)이 활성화된 경우에만 발생합니다.

Question 4

oMLX preserve_mtp로 변환한 GLM-5.3-Flash 모델을 로드할 때 발생하는 'Expected shape but received shape' ValueError 해결 방법

Accepted Answer

이는 oMLX 0.7.0.dev4의 알려진 버그입니다: `text_only=True`로 변환하면 컨버터가 GLM 새니타이제이션을 건너뛰어 잘못된 네임스페이스에 quant config를 생성하고(`Expected shape (128, 512) but received shape (128, 1024)` 같은 오류), `embed_q` 가중치가 잘못 패킹됩니다(`Expected shape (64, 512, 40) but received shape (64, 512, 48)`). 해결 방법: oMLX 0.7.1rc1+로 업그레이드하거나(또는 커밋 7a4ec44e를 체리픽하고) 원본 FP8 체크포인트에서 다시 변환하세요. 손상된 출력을 패치하려고 하지 마세요. `text_only=True`와 `preserve_mtp=True`는 모두 활성화한 상태로 유지해도 됩니다. 변환 중 캘리브레이션 메모리 가드(proxy > limit)에 걸리면 다른 상주 모델을 언로드하고 다시 실행하세요.

Question 5

oMLX에서 gpt-oss가 response_format json_object/json_schema로 빈 콘텐츠를 반환하는 이유는 무엇인가요?

Accepted Answer

이는 oMLX 0.7.1.dev1의 알려진 버그입니다: JSON grammar가 bare로 컴파일되어 gpt-oss가 Harmony 채널 헤더(`<|channel|>final<|message|>`)를 생성할 수 없었고, 이로 인해 Harmony 파서가 'Unexpected EOS' 오류로 실패하면서 빈 `content`를 반환했습니다. `reasoning_parser: harmony`가 설정된 경우 grammar가 `<|return|>` EOS 토큰까지 차단하여, 모델이 max_tokens에 도달할 때까지 JSON 메시지를 반복했습니다. **수정 방법:** commit 73322ed18이 포함된 빌드로 oMLX를 업데이트하세요(main에서 수정됨). 수정 후에는 gpt-oss가 스트리밍과 비스트리밍 모두에서, harmony 설정 유무에 관계없이 `content`에 단일 JSON 객체를 반환하고 추론 내용은 `reasoning_content`에 담으며 `finish_reason: stop`을 반환합니다. **이전 버전에서의 우회 방법:** 요청에서 `response_format`을 제거하고, 프롬프트에서 JSON을 직접 요청한 다음, 클라이언트 측에서 JSON을 파싱/검증하세요.

omlx

주요 기능

할 수 없는 것

사용 사례

태그

시작하기

유사한 프로젝트