Question 1

なぜoMLX oQ量子化は'sensitivity measurement produced no scores'エラーで失敗するのですか？

Accepted Answer

このエラーは、oMLX 0.4.0 未満のバージョンのバグにより、モデルに実際の mtp.* テンソルが存在しない場合でも、設定によって Preserve MTP オプションがトリガーされるために発生します。修正するには、oMLX 0.4.0 以降にアップグレードしてください。アップグレードが不可能な場合は、~/.omlx ディレクトリを削除し、サーバーを最初から再設定することで回避策とします。

Question 2

macOS上のoMLX 0.4.0rc1で「App Transport Security policy requires the use of a secure connection」というエラーを修正する方法

Accepted Answer

oMLX を 0.4.0rc1 から 0.4.0rc2 以降にアップグレードしてください(安定版の 0.4.0 リリースにもこの修正が含まれています)。このバグは、Swift UI が `http://0.0.0.0/...` に接続しようとした際に、macOS が App Transport Security によってブロックしたために発生しました。修正版では、UI は `127.0.0.1` を経由して接続する一方で、サーバーは引き続き `0.0.0.0` にバインドできるようになっています。アップグレード後、oMLX を再起動し、モデルが読み込まれてサーバーが起動することを確認してください。

Question 3

クライアントが切断された後も、oMLX Splash 外部エンジンが生成を続けるのはなぜですか？

Accepted Answer

これは oMLX 0.7.1.dev2 の既知のバグです。クライアントがストリーミングリクエストを切断すると、Splash リクエストがキャンセルされずに `max_tokens` まで実行され、接続が `CLOSE_WAIT` 状態でリークし、キューに入っているリクエストが停滞します。原因: oMLX の SSE キープアライブラッパーが、Starlette がすでにキャンセルしたレスポンススコープから内部タスクを await していたため、httpcore が Splash 接続を閉じている間に anyio がそれを二度目にキャンセルしていました。Splash は接続が閉じられたときにのみキャンセルするため、生成を続けていました。修正: ドレインがシールドされている、コミット `bb46453d9` 以降の `main` からのビルドに更新してください。アップグレード後、Splash はストリーミングおよび非ストリーミングリクエストの両方で、クライアント切断時に即座に `Cancelled` をログに記録します。注意: oMLX のインプロセスエンジンは影響を受けません。このバグは "Use external engine"(Splash)が有効になっている場合にのみ発生します。

Question 4

oMLX preserve_mtp で変換された GLM-5.3-Flash モデルをロードする際に発生する 'Expected shape but received shape' ValueError を修正するにはどうすればよいですか？

Accepted Answer

これは oMLX 0.7.0.dev4 の既知のバグです。`text_only=True` で変換すると、コンバーターが GLM サニタイズをスキップしてしまい、間違った名前空間に量子化設定が生成され（`Expected shape (128, 512) but received shape (128, 1024)` のようなエラー）、`embed_q` の重みが正しくパックされません（`Expected shape (64, 512, 40) but received shape (64, 512, 48)`）。修正方法：oMLX 0.7.1rc1+ にアップグレードし（またはコミット 7a4ec44e を cherry-pick し）、元の FP8 チェックポイントから再変換してください。壊れた出力にパッチを当てようとしないでください。`text_only=True` と `preserve_mtp=True` は両方とも有効にしたままで問題ありません。変換時にキャリブレーションメモリガード（proxy > limit）に引っかかった場合は、他の常駐モデルをアンロードして再実行してください。

Question 5

oMLX で response_format json_object/json_schema を使用すると、gpt-oss が空のコンテンツを返すのはなぜですか？

Accepted Answer

これは oMLX 0.7.1.dev1 の既知のバグです。JSON グラマーが bare のままコンパイルされていたため、gpt-oss は Harmony チャネルヘッダー（<|channel|>final<|message|>）を出力できず、Harmony パーサーが 'Unexpected EOS' で失敗し、空の content を返していました。reasoning_parser: harmony を設定している場合、グラマーは <|return|> EOS トークンもブロックするため、モデルは max_tokens に達するまで JSON メッセージを繰り返していました。修正方法: commit 73322ed18 を含むビルドに oMLX を更新してください（main で修正済み）。修正後は、gpt-oss はストリーミング・非ストリーミングの両方で、harmony 設定の有無にかかわらず、content に単一の JSON オブジェクトを返し、推論内容は reasoning_content に含まれ、finish_reason: stop となります。旧バージョンでの回避策: リクエストから response_format を削除し、プロンプト内で直接 JSON を要求し、クライアント側で JSON をパース・検証してください。

omlx

主な機能

できないこと

使用例

タグ

はじめ方

類似プロジェクト