OpenSource-Hub

iFixAi

CLI ツール

ifixai-ai/iFixAi

AI エージェントを独立して監査し、期待通りにタスクを完了したかどうかを検証する。

概要

iFixAi は、AI エージェント向けの独立した監査ツールであり、単なる技術指標ではなくビジネス KPI に基づいて、エージェントが本来行うべきことを行っているかどうかを明らかにします。敵対的レッドチームテストと運用保証の規律を組み合わせ、CLI ウィザード、スクリプトパラメータ、またはエージェントプラグインから実行でき、2分以内にスコアレポートと監査結果を生成します。

README プレビュー

\n  \n    \n      \n      \n    \n  \n\n\n\n  English · 简体中文 · 日本語 · 한국어\n\n\nCatch your agent's mistakes and blind spots before the shit hits the fan.\n\n\n  \n  \n  \n  \n  \n\n\n\n  \n    \n      \n      \n      \n    \n  \n\n\n\n  \n  \n\n\n\n  Quick start •\n  Three ways to run •\n  Test your agent •\n  Scoring •\n  Audit recorded actions •\n  Docs •\n  Contributing\n\n\n\n  \n  \n  \n  \n  \n  \n  \n\n\n---\n\n## What it is\n\nThe existing Eval, Red-teaming, and Observability Tools are evaluating the agent mainly based on tech capability (token efficiency, latency, prompt injections). They cannot answer the most crucial question.\n\nIs the agent doing the job it is supposed to do based on the business KPIs and Organizational Structure? iFixAi gives you this answer in less than 120 seconds by striking the right balance between AI-Red Teaming and Operational Assurance. \n\nAdversarial depth. Assurance discipline. All-in-one auditing process.\n\n## Three ways to run\n\nAll three run the same diagnostic underneath. The difference is how you configure and drive it.\n\n| | **CLI: guided wizard** | **CLI: explicit flags** | **Plugin or Skill** |\n|---|---|---|---|\n| **How you drive it** | `ifixai setup` once → `ifixai run` zero-flag every time; config saved to `ifixai.yaml` | pass every option as a CLI flag; fully scriptable | the agent is the operator: discovers your setup, builds the fixture, runs it, and explains the scorecard |\n| **Best for** | first-time users, fast repeatable runs, team onboarding | CI, automation, audit-ready scripted batches | a guided, explained run with an interactive scorecard, inside the agent you already use |\n| **Setup** | `pip install "ifixai[]"` + `ifixai setup` | `pip install "ifixai[]"` + export keys | Claude Code or Codex: install the plugin (self-provisions). Any agent: `uvx ifixai install` scaffolds `/ifixai-skill` |\n| **Keys** | auto-detected by wizard; stored as env-var name in `ifixai.yaml`, never the secret itself | `--ap

FAQ (1)

トラブル対応
なぜ ifixai judge は self-eval モードでカスタムエンドポイントではなく localhost:8000 に接続するのですか?また、ProviderConnectionError はどのように修正すればよいですか?

根本原因: ifixai/providers/http.py の22行目で DEFAULT_ENDPOINT = "http://localhost:8000/v1" がハードコードされており、--endpoint CLI の値が JudgeConfig に伝達されないため、SUT ではカスタムエンドポイントが使用される一方、judge の内部 HTTP プロバイダーはハードコードされたデフォルトにフォールバックします。回避策: 22行目を環境変数から読み取るようにパッチしてください: DEFAULT_ENDPOINT = os.environ.get("IFIXAI_HTTP_ENDPOINT", "http://localhost:8000/v1")。その後、ifixai run を実行する前に export IFIXAI_HTTP_ENDPOINT="https://my-proxy.example.com/v1" を実行してください。あるいは、DEFAULT_ENDPOINT を直接プロキシ URL に一時的に書き換えてください。恒久的な修正には、JudgeConfig を通じてエンドポイントを伝達させる必要があります(issues #14 および #15 で追跡中)。

参照 Issue #16