Question 1

ForgeでOllama 400エラー「cannot unmarshal array into Go struct field ChatRequest.messages.content of type string」を修正するにはどうすればよいですか？

Accepted Answer

これは、OpenAI形式のマルチパート content 配列が Ollama のネイティブ /api/chat に送信されたときに発生します。Ollama のネイティブ /api/chat では content が文字列である必要があります。Forge を v0.7.6 以降にアップグレードしてください。これにより、Ollama を呼び出す前に OpenAI-wire メッセージが正規化されます。一時的な回避策として、forge/clients/ollama.py の send 関数内で POST の前に編集し、次を追加します。

for msg in messages:
    if isinstance(msg.get("content"), list):
        msg["content"] = " ".join(
            item.get("text", "") if isinstance(item, dict) else str(item)
            for item in msg["content"]
        )

パッチを適用した後、Forge を再起動してください。この回避策はテキスト部分を連結します。非テキストのマルチモーダル部分は単純な結合では保持されません。

Question 2

マルチターンのツール呼び出し中に Ollama 400 "Value looks like object, but can't find closing '}' symbol" をどう修正すればよいですか？

Accepted Answer

forge-guardrails を v0.7.6+ にアップグレードしてください。これは、OpenAI-wire メッセージが Ollama ネイティブの /api/chat に送信される前に正規化します。

pip install -U forge-guardrails==0.7.6

この障害は、OpenAI が tool_calls[].function.arguments を JSON エンコードされた文字列として送信する一方、Ollama はオブジェクトを要求するために発生します。最初のリクエストは成功しますが、アシスタントの tool call がメッセージ履歴に含まれると、以降のターンが失敗します。

すぐにアップグレードできない場合は、Ollama ネイティブの raw-message パススルーを無効にして通常の format="ollama" シリアライゼーションが使用されるようにするか、送信前に各 arguments フィールドを強制変換してください。

if isinstance(function.get("arguments"), str):
    function["arguments"] = json.loads(function["arguments"])

影響を受けるバージョン: forge-guardrails 0.7.5 と Ollama 0.30.8。0.7.6 で修正済み。

Question 3

vLLM が content 内にインラインの <think> テキストを含む tool_calls を返すとき、DeepSeek-R1 または Qwen3 の reasoning が欠落している問題をどう修正すればよいですか？

Accepted Answer

これはノンストリーミングの `VLLMClient.send()` パスで発生します。`_resolve_reasoning()` は構造化された `message.reasoning` フィールドのみを読み取ります。vLLM 0.21+ が思考テキストを `...` として `message.content` に格納し、さらに `tool_calls` も返す場合、その推論は破棄されるため、下流の推論リプレイは REASONING メッセージを追加できません。修正: forge v0.7.6 以降にアップグレードしてください。これには #110 の修正が含まれ、vLLM と Ollama の両方でインラインの `` 推論を抽出します。 ```bash git fetch --tags git checkout v0.7.6 # 通常どおりプロジェクトの依存関係を再インストール ``` アップグレードできない場合は、ツール呼び出しを解析する前に `src/forge/clients/vllm.py` の `send()` をパッチしてください。 ```python import re content = message.get("content") or "" reasoning = self._resolve_reasoning(message) if not reasoning and self._think: match = re.search(r"]*>(.*?)", content, re.S) if match: reasoning = match.group(1).strip() tool_calls = message.get("tool_calls") or [] if tool_calls: return self._parse_tool_calls( tool_calls, reasoning=reasoning, ) ``` 通常のテキスト応答では、可視コンテンツを返す前に think ブロックを除去します。 ```python visible_content = re.sub( r"]*>.*?", "", content, flags=re.S ).strip() return TextResponse(content=visible_content) ``` ストリーミングパスは、`content` と `reasoning` のデルタを別々に蓄積するため、影響を受けません。

Question 4

モデルがツール呼び出しを行うときに OpenAICompatClient が reasoning や thinking のコンテンツをドロップする問題をどう修正すればよいですか？

Accepted Answer

PR #114 を含むリリースにアップグレードしてください。この修正により、OpenAICompatClient は構造化フィールド reasoning_content、reasoning、reasoning_text、または forge.prompts.think_tags.extract_think_tags を使用してタグから推論を取得します。その後、その推論を最初の ToolCall に付加し、TextResponse のコンテンツからブロックを除去します。パッチを手動で適用する場合は、src/forge/clients/openai_compat.py を更新してください。_parse_tool_calls にキーワード専用の reasoning=None パラメータを追加し、それを最初のツール呼び出しにのみ付加し、send() と send_stream() の両方で推論を抽出し、それを _parse_tool_calls に渡します。通常のアシスタントの content を推論として扱わないでください。OpenAI 互換プロバイダーはツール呼び出しの前に正当なユーザー向けテキストを返す可能性があるためです。

Question 5

Forge の tool-call レスポンス内の Anthropic native thinking blocks をキャプチャするにはどうすればよいですか？

Accepted Answer

Forgeをバージョン0.9.4以降にアップグレードしてください。このリリースでは、Anthropicのthinkingブロックとストリーミングのthinking_deltaイベントを、直接のAnthropicClient/WorkflowRunner使用とForge Proxyの両方に対して、既存のToolCall.reasoningフィールドにマッピングします。構造化されたthinkingは以前の可視テキストフォールバックよりも優先され、最初のツール呼び出しにのみ添付され、テキストのみの応答は可視テキストのままです。既存のreasoning_replayポリシーを使用して、キャプチャされたreasoningを省略するか、公開するか、再生するかを制御します。ネイティブのthinkingブロックのラウンドトリップは含まれていません。プレーンテキストのthinkingのみがマッピングされます。

forge

主な機能

できないこと

使用例

タグ

はじめ方

類似プロジェクト