개요
iFixAi는 AI 에이전트를 위한 독립 감사 도구로, 단순한 기술 지표가 아닌 비즈니스 KPI를 기반으로 에이전트가 해야 할 일을 하고 있는지를 판단합니다. 이 도구는 적대적 레드팀 테스트와 운영 보장 규율을 결합하며, CLI 마법사, 스크립트 매개변수 또는 에이전트 플러그인을 통해 실행할 수 있고, 2분 이내에 점수 보고서와 감사 결과를 생성합니다.
README 미리보기
\n \n \n \n \n \n \n\n\n\n English · 简体中文 · 日本語 · 한국어\n\n\nCatch your agent's mistakes and blind spots before the shit hits the fan.\n\n\n \n \n \n \n \n\n\n\n \n \n \n \n \n \n \n\n\n\n \n \n\n\n\n Quick start •\n Three ways to run •\n Test your agent •\n Scoring •\n Audit recorded actions •\n Docs •\n Contributing\n\n\n\n \n \n \n \n \n \n \n\n\n---\n\n## What it is\n\nThe existing Eval, Red-teaming, and Observability Tools are evaluating the agent mainly based on tech capability (token efficiency, latency, prompt injections). They cannot answer the most crucial question.\n\nIs the agent doing the job it is supposed to do based on the business KPIs and Organizational Structure? iFixAi gives you this answer in less than 120 seconds by striking the right balance between AI-Red Teaming and Operational Assurance. \n\nAdversarial depth. Assurance discipline. All-in-one auditing process.\n\n## Three ways to run\n\nAll three run the same diagnostic underneath. The difference is how you configure and drive it.\n\n| | **CLI: guided wizard** | **CLI: explicit flags** | **Plugin or Skill** |\n|---|---|---|---|\n| **How you drive it** | `ifixai setup` once → `ifixai run` zero-flag every time; config saved to `ifixai.yaml` | pass every option as a CLI flag; fully scriptable | the agent is the operator: discovers your setup, builds the fixture, runs it, and explains the scorecard |\n| **Best for** | first-time users, fast repeatable runs, team onboarding | CI, automation, audit-ready scripted batches | a guided, explained run with an interactive scorecard, inside the agent you already use |\n| **Setup** | `pip install "ifixai[]"` + `ifixai setup` | `pip install "ifixai[]"` + export keys | Claude Code or Codex: install the plugin (self-provisions). Any agent: `uvx ifixai install` scaffolds `/ifixai-skill` |\n| **Keys** | auto-detected by wizard; stored as env-var name in `ifixai.yaml`, never the secret itself | `--ap
FAQ (1)
문제 해결self-eval 모드에서 ifixai judge가 사용자 지정 엔드포인트 대신 localhost:8000에 연결하는 이유는 무엇이며, ProviderConnectionError는 어떻게 해결하나요?
문제 해결
self-eval 모드에서 ifixai judge가 사용자 지정 엔드포인트 대신 localhost:8000에 연결하는 이유는 무엇이며, ProviderConnectionError는 어떻게 해결하나요?근본 원인: ifixai/providers/http.py 22번째 줄에 DEFAULT_ENDPOINT = "http://localhost:8000/v1"이 하드코딩되어 있고, --endpoint CLI 값이 JudgeConfig를 통해 전달되지 않아, SUT는 사용자 지정 엔드포인트를 사용하는 동안 judge의 내부 HTTP provider가 하드코딩된 기본값으로 폴백됩니다. 임시 해결 방법: 22번째 줄을 환경 변수를 읽도록 수정합니다: DEFAULT_ENDPOINT = os.environ.get("IFIXAI_HTTP_ENDPOINT", "http://localhost:8000/v1"), 그런 다음 ifixai run을 실행하기 전에 export IFIXAI_HTTP_ENDPOINT="https://my-proxy.example.com/v1"을 실행하세요. 또는 DEFAULT_ENDPOINT를 프록시 URL로 직접 일시적으로 수정할 수 있습니다. 영구적인 수정은 엔드포인트를 JudgeConfig를 통해 전달해야 합니다(이슈 #14 및 #15에서 추적 중).