Przejdź do głównej zawartości

@wondelai/harness-audit ocenia repozytorium deterministycznie w sześciu ważonych stanowiskach fabryki oprogramowania — Intencji, Harnessie, Pętli, Grafie, Weryfikacji i Wydaniu — i mapuje zebrane dowody na Drabinę Autonomii Dana Shapiro (Poziom 0–5). Każda poniższa kontrola działa lokalnie bez wysyłania danych i prowadzi do trwałego wzorca w tym kanonie.

Deweloperzy, tech leadzi i CTO korzystają z tej referencji, aby sprawdzić, dlaczego repozytorium zatrzymało się na określonym suficie poziomu autonomii, jakie konkretne artefakty odblokowują kolejny szczebel i jak zamienić wyniki skanu w bramki CI. Szczegółową instrukcję uruchamiania, opcjonalnego wywiadu i promptów naprawczych znajdziesz w przewodniku po @wondelai/harness-audit.

Ocenia, czy repozytorium daje każdemu agentowi kodującemu zwięzły, niezduplikowany kontekst oraz dyscyplinę specyfikacji przed rozpoczęciem edycji.

Obszar kontroliCo spełnia standardPrzewodnik
Plik instrukcji w korzeniuAGENTS.md (lub odpowiednik) zawiera realne granice repo i komendy weryfikacjiAGENTS.md i zwięzły kontekst
Jedno źródło prawdyCLAUDE.md odwołuje się do @AGENTS.md zamiast duplikować treść politykWspólne reguły zespołu
Budżet długości instrukcjiPlik główny jest zwięzły (≤ 150 linii) bez ogólnego wypełniacza i powielonego boilerplate’uOczyszczanie plików kontekstu
Reguły zakresowe i skilleReguły przypisane do ścieżek (.claude/rules/, .cursor/rules/*.mdc) oraz przenośne skille SKILL.mdSkille agentów
Artefakty specyfikacjiSzablony PR/zgłoszeń lub struktura specyfikacji i planu zapisująca kryteria przed kodemSpec-driven development

Ocenia, czy granice uprawnień, hooki cyklu życia, integracje MCP i ochrona sekretów są wymuszane mechanicznie przez środowisko zamiast prośbą w prompcie.

Obszar kontroliCo spełnia standardPrzewodnik
Uprawnienia i sandboxJawna polityka uprawnień i sandboxa (wykrywa wycofane reguły jak untrusted w Codexie)Uprawnienia i sandboxing
Hooki cyklu życiaDeterministyczne hooki PreToolUse, PostToolUse lub Stop z ochroną przed pętlą (stop_hook_active)Hooki agentów
Higiena MCPBrak zarchiwizowanych lub zmyślonych pakietów, martwych endpointów /sse i tokenów w plain-textModel Context Protocol
Ochrona sekretów.env i .dev.vars w .gitignore, obecny .env.example, zero wycieków poświadczeń w konfiguracjiTożsamość agentów i sekrety

Ocenia, czy agent potrafi szybko i powtarzalnie zweryfikować własne zmiany jednym deterministycznym poleceniem.

Obszar kontroliCo spełnia standardPrzewodnik
Weryfikacja jednym poleceniemZunifikowana komenda check / verify / test + lint + typecheck działająca lokalnie i w CIRepozytorium gotowe na agentów
Ścisłe typowanie statyczneWłączony tryb ścisły TypeScript lub odpowiednik statycznej analizy typów dla całego koduTestowanie i weryfikacja
Szybki linter i formaterSkonfigurowany deterministyczny linter i formater z nieinteraktywnym trybem sprawdzania w CIPętla informacji zwrotnej
Powtarzalność środowiskaZacommitowany lockfile oraz przypięta wersja runtime zgodna z CIRepozytorium gotowe na agentów

Ocenia, czy równolegli agenci mogą wykonywać niezależne zadania bez kolizji gałęzi, portów, baz danych i lokalnego stanu.

Obszar kontroliCo spełnia standardPrzewodnik
Izolacja worktreeSkrypt zarządzania worktree lub konfiguracja .worktreeinclude izolująca checkout na zadanieGit worktrees
Izolacja portów i stanuNiezależne porty lokalne dla każdego worktree oraz odizolowany stan bazy i cacheŚrodowiska efemeryczne
Podagenci i przepływyWyspecjalizowani podagenci tylko do odczytu lub w worktree (.claude/agents/, [agents] w Codexie)Wzorce orkiestracji

Ocenia, czy zautomatyzowane wyrocznie są wystarczająco silne, aby recenzenci mogli oceniać dowody zamiast czytać każdą wygenerowaną linię.

Obszar kontroliCo spełnia standardPrzewodnik
Testy jednostkowe i E2ERzeczywiste testy jednostkowe i end-to-end weryfikujące kontrakty zachowaniaSiła wyroczni
Ochrona wyroczniCODEOWNERS lub reguły CI chroniące testy, bramki i workflow przed cichym osłabieniemOchrona wyroczni
Jakość testówNiska liczba .skip/.only, zero tautologicznych asercji, minimalne wyciszenia lintera i typówWykrywanie kodu pozornego
Automatyczne PR reviewSkonfigurowany Bugbot (.cursor/BUGBOT.md), review Claude/Codex albo bramki automatycznego reviewCode review PR agenta
Funkcje dopasowaniaAutomatyczne bramki warstw architektury, rozmiaru paczki, zależności i bezpieczeństwaFunkcje dopasowania architektury

Ocenia, czy scalone zmiany agentów trafiają na produkcję bezpiecznie, z audytowalnym pakietem dowodów i gotowością do rollbacku.

Obszar kontroliCo spełnia standardPrzewodnik
Bramki CI na PRWymagany automatyczny lint, typecheck i testy uruchamiane dla każdego pull requestaWdrażanie i bramki produkcji
Szablon PR z dowodamiLista kontrolna wymagająca wyników weryfikacji, klasy ryzyka, wrażliwych ścieżek i planu rollbackuPakiet dowodów
Zależności i obserwowalnośćAutomatyczna weryfikacja zależności oraz śledzenie błędów i strukturalna telemetria produkcjiZdrowie bazy kodu agentów

Jak wagi stanowisk i twarde sufity zapobiegają zawyżonym ocenom

Dział zatytułowany „Jak wagi stanowisk i twarde sufity zapobiegają zawyżonym ocenom”

Ważone punkty pokazują szerokość pokrycia, natomiast twarde sufity poziomów pilnują fundamentów architektury. Repozytorium z dopracowanym AGENTS.md i zestawem skilli nadal zatrzymuje się na Poziomie 2, jeśli brakuje w nim deterministycznych testów i wymaganych bramek CI:

Poziom AutonomiiWymagane minimalne dowody w stanowiskach
Poziom 1–2Plik instrukcji w korzeniu oraz powtarzalne komendy budowania i testów
Poziom 3Jedno źródło instrukcji, szybka lokalna pętla weryfikacji, jawne uprawnienia i bramki CI na PR
Poziom 4Silne stanowisko Weryfikacja (realne testy, ochrona wyroczni, automatyczne PR review) oraz izolacja Grafu
Poziom 5Pełne pokrycie sześciu stanowisk, w tym pakiety dowodów, funkcje dopasowania i obserwowalność wydań

Uruchom skaner lokalnie (dodając --lang pl dla raportu po polsku), aby przejrzeć wszystkie niezdane kontrole, a następnie podepnij tryb CI w pull requestach, aby poziom harnessu stale rósł:

Okno terminala
npx @wondelai/harness-audit
npx @wondelai/harness-audit --ci --min-score 65

Przekaż --deep, gdy potrzebujesz jakościowej oceny stosunku sygnału do szumu w instrukcjach i siły wyroczni testowej przez lokalne CLI claude lub codex; domyślny skan deterministyczny nie wysyła żadnego kodu poza maszynę. Aktualne schematy konfiguracji dla wykrytych braków sprawdzisz w oficjalnej dokumentacji Claude Code, OpenAI Codex, Cursora, Agent Skills i MCP.

Gdy kontrole audytu zgłaszają fałszywe alarmy lub uparte sufity

Dział zatytułowany „Gdy kontrole audytu zgłaszają fałszywe alarmy lub uparte sufity”
  • Monorepo uzyskuje niższą ocenę niż pojedyncze pakiety. Uruchomienie skanera w katalogu nadrzędnym bez skryptów głównych pomija zestawy testów w podpakietach. Odzyskanie: uruchamiaj audyt w katalogu każdej aktywnej usługi albo dodaj zunifikowany skrypt weryfikacji w korzeniu.
  • Wycofane klucze polityk oblewają Stanowisko 2, mimo że lokalna sesja wydaje się działać. Starsze ustawienia, jak approval_policy = "untrusted" w Codexie czy plik .cursorrules, zawodzą po cichu albo wykładają nowsze runnery. Odzyskanie: przejdź na aktywne sandbox_mode + approval_policy (on-request, never, granular) lub .cursor/rules/*.mdc zgodnie z oficjalną dokumentacją.
  • Wysoka liczba testów nadal wywołuje ostrzeżenia w Stanowisku 5. Zestawy wypchane tautologicznymi asercjami, znacznikami .skip albo szerokimi wyciszeniami typów nie dowodzą zachowania. Odzyskanie: oceń testy według siły wyroczni i zablokuj ścieżki testów w CODEOWNERS.
  • Kontrole przechodzą na jednym laptopie, ale padają w CI. Ustawienia na poziomie użytkownika (~/.claude/, ~/.codex/) nie przenoszą się na runnery CI ani maszyny chmurowe. Odzyskanie: zacommituj wspólne uprawnienia, hooki, reguły i .mcp.json bezpośrednio w repozytorium.

Czy ten artykuł Ci pomógł?

Jedno kliknięcie, bez logowania.

wcale bardzo