Question 1

MTPLX が、アイドル状態のセッションがまだ KV cache を保持しているときに、再試行のたびに 507 memory-limit エラーを返すのをどう修正すればよいですか？

Accepted Answer

MTPLX 2.12.1 以降にアップグレードし（2.12.2 が最新の検証済みリリースです）、その後 MTPLX サーバーを再起動します。uv/CLI インストールの場合は uv tool upgrade mtplx を実行し、アプリインストールの場合は MTPLX を終了して再起動します。mtplx --version で確認します。

2.12.1+ では、メモリ制限に近いリクエストを拒否する前に、エンジンは自身のバッファプールを解放し、その後、現在生成中でない会話の RAM コピーを追い出します。最も古く、SSD に保存された会話が最初に選択されます。アクティブな生成は決して追い出されません。メモリがまだ利用できない場合、507 レスポンスは何がメモリを保持しているか、および再試行がいつ成功する可能性があるかを識別します。

古いバージョンでの一時的な回避策：アイドルセッションを停止するか、MTPLX サーバーを再起動してライブ KV キャッシュを解放するか、設定されたコンテキストサイズを減らすか、より小さなモデルを使用します。128 GB の Mac では、2.12.1+ はデフォルトの制限を 90 GiB に設定することで、デフォルトのメモリ余裕も増やします。

Question 2

64GBのMacでQwen3.8-27Bハイブリッドを使用している際に、長いプロンプトでMTPLXがHTTP 507 / out-of-memoryによりクラッシュするのはなぜですか?また、どうすれば修正できますか?

Accepted Answer

これは MTPLX 2.11.3 における既知のバグです。非 QSA ハイブリッドモデル（linear_attention レイヤーと full_attention レイヤーを持つ Qwen3.8-27B ファミリー）では、メモリプランナーが prefill のトランジェントを 0 バイト/トークンとして計上していたため、実際の prefill ピークが約 79 GiB に達する 262K のコンテキストウィンドウを許容してしまいました。これは 64 GiB のマシン容量を超過し、アロケーションの失敗とクライアントへの HTTP 507 を引き起こしました。#393 の修正は Flash-Next/QSA のジオメトリのみを対象としていました。

**修正:** MTPLX 2.12.1 にアップグレードしてください。メモリチェックは、4-bit paged KV ページが埋められている間のフル幅の行を含め、すべてのリクエストをその最大サイズとなる瞬間で計上するようになりました（以前は 7.6 GiB と見積もられていた 250K トークンのプロンプトが、実際には 20.1 GiB を必要としていました）。メモリプレッシャーによるトリムはセッションキャッシュにも及ぶようになりました。トリムは（421 回連続の no-op トリムを引き起こしていた）バジェットの半分を目標とする代わりに、キャッシュが実際に保持している内容を半減させます。アクティブに生成中の会話は対象外となります。

**アップグレード後に予想される副作用:** プランナーは、過剰にコミットされた 262K ではなく、より小さく正直な最大ウィンドウ（例：48GB の MacBook で約 60K トークン）を提示するようになります。これはリグレッションではなく、正しい動作です。

**2.11.3 での回避策（修正ではありません）:** ウィンドウを dense-decode の上限以下に制限し（RAM の 15% ÷ 65,536 バイト/トークン ≈ 64 GiB で約 157K トークン）、`MTPLX_SESSION_BANK_MAX_BYTES=4G`、`MTPLX_SESSION_BANK_MAX_ENTRIES=12`、`MTPLX_MEMORY_LIMIT_BYTES=54G`、`MTPLX_CLEAR_CACHE_EVERY=auto` を設定してください。深いプロンプトは、設計上依然として破棄される場合があります。

Question 3

MTPLXAppが起動のたびにHermesのconfig.yamlからmemory、providers、delegation、auxiliaryなどのセクションを削除するのを防ぐにはどうすればよいですか？

Accepted Answer

これは、MTPLXApp 1.0.4 (build 10012) が固定テンプレートから `~/.hermes/profiles/mtplx/config.yaml` を再生成し、アプリが認識するキーだけを保持することが原因です。このバージョンには公式の修正はありません。`chflags uchg` は使わないでください。書き換えは防げますが、MTPLX が "Messaging needs repair" と表示してセッションの開始を拒否するようになります。有効な応急処置は、設定ファイルを監視し、書き換えが行われるたびに失われた YAML セクションを直ちにマージし直す macOS LaunchAgent です。 1. yq をインストールします: ```bash brew install yq ``` 2. カスタム Hermes 設定を保存します。例: `~/.hermes/profiles/mtplx/custom-config.yaml`: ```yaml memory: provider: honcho providers: {} delegation: {} auxiliary: {} model: max_tokens: 8192 ``` 3. `~/bin/restore-mtplx-config.sh` を作成します: ```bash #!/bin/bash set -euo pipefail CFG="$HOME/.hermes/profiles/mtplx/config.yaml" SNIP="$HOME/.hermes/profiles/mtplx/custom-config.yaml" TMP="$(mktemp)" [ -f "$CFG" ] || exit 0 [ -f "$SNIP" ] || exit 0 yq eval-all '. as $item ireduce ({}; . * $item)' "$CFG" "$SNIP" > "$TMP" if cmp -s "$TMP" "$CFG"; then rm -f "$TMP" else mv "$TMP" "$CFG" fi ``` 実行可能にします: ```bash chmod +x ~/bin/restore-mtplx-config.sh ``` 4. `~/Library/LaunchAgents/local.mtplx-config-restore.plist` を作成します。`/Users/you` は実際のホームディレクトリに置き換えてください: ```xml Label local.mtplx-config-restore ProgramArguments /bin/bash /Users/you/bin/restore-mtplx-config.sh WatchPaths /Users/you/.hermes/profiles/mtplx/config.yaml RunAtLoad ``` 5. 読み込みます: ```bash launchctl bootstrap gui/$(id -u) ~/Library/LaunchAgents/local.mtplx-config-restore.plist ``` すでに読み込まれている場合は、先に `launchctl bootout gui/$(id -u)/local.mtplx-config-restore` を実行してから、再度 bootstrap してください。恒久的なアプリ側の修正としては、MTPLXApp がファイル全体を再構築するのではなく、既存の YAML を round-trip で保持し、自身が管理するキーだけを上書きする方式が必要です。その修正がリリースされるまでは、WatchPaths エージェントが起動のたびにユーザーが追加した Hermes セクションを保持します。

Question 4

MTPLXでツール呼び出しの後に画像を送信する際に「vision requests must not use the session bank without content-keyed ids」を修正する方法は？

Accepted Answer

これは MTPLX 2.12.0 のバグです：vision/image メッセージが tool-call/tool-result ターンの後に続く場合、ストリーミング chat completions は失敗しますが、同じリクエストはストリーミングなしでは動作します。回避策として、/v1/chat/completions で "stream": false を指定してリクエストを送信するか、可能であれば OpenAI-compatible クライアント/プロバイダー設定でストリーミングを無効にしてください。ストリーミングを有効にしたまま再試行しても解決しません。画像と tool 履歴は変更せず、修正された MTPLX リリースが利用可能になるまでストリーミングのみをオフにしてください。

Question 5

RAMにまだ空きがあるにもかかわらず、128GBのApple Silicon Macでmtplxの「insufficient memory: prompt projects against the engine's 96.0 GiB limit」エラーを解決するにはどうすればよいですか？

Accepted Answer

96 GiBという値は、現在使用中のRAM容量ではなく、mtplxのプリフライトメモリバジェットです。まず、AppleのGPUワイヤードメモリの上限を引き上げます: `sudo sysctl iogpu.wired_limit_mb=124518`。次に、ホストリザーブを小さくしてmtplxを再起動します。変数名が `*_BYTES` であるため、`6G` ではなく生のバイト数を使用します。6 GiBのリザーブの場合: `MTPLX_HOST_MEMORY_ALLOWANCE_BYTES=6442450944 mtplx serve --model Youssofal/Qwen3.8-Flash-Next-MTPLX-Optimized-Speed --model-id mtplx-flash-next-optimized-quality --host 0.0.0.0 --port 8080 --api-key my-secret-key`。再起動後に報告されるエンジンの上限が96 GiBより大きいことを確認してください。リクエストがそれでも推定値をわずかに超える場合で、macOSのスワップ発生とパフォーマンスの低下を許容できるなら、`mtplx serve` コマンドに `--allow-swap` を追加してください。代替手段としては、q8 KV量子化を有効にする、プロンプトを短くする、または新しい会話を開始するといった方法があります。

MTPLX

主な機能

できないこと

使用例

タグ

はじめ方

類似プロジェクト