Files
HiveGrid-Wireframes/03 Quellen und Referenzen/hivegrid-cloud/.planning/ticket-docs/CI-05.md
T

26 KiB
Raw Blame History

CI-05 · Docker-Smoke: Runner-Isolation, Fail-fast-Timeouts und Diagnostik

Typ Dev (CI/Infra)
Owner Raffael
Phase P1 · Querschnitt/CI
Cycle/Fenster v2-W1 · 2026-07-18
Status abgeschlossen · 6/6 DoD = 100 % done

Abhängigkeiten & Parallelität

  • Blocked by: keine. Die Repository-Härtung ist unabhängig von Produktcode ausführbar.
  • Blocks: VA-P26a ausschließlich für einen vertrauenswürdigen Remote-Docker-Proof. Die fachlichen Staging-/UAT-Gates von VA-P26a bleiben davon getrennt. VA-P26b und VA-P26c sind nur transitiv über VA-P26a betroffen; es werden keine redundanten direkten Kanten angelegt.
  • Läuft parallel zu: Produktarbeit, solange keine fremden Actions-Läufe abgebrochen und keine Shared-Runner-/Docker-Daemon-Ressourcen neu gestartet werden.
  • Konflikt-Risiko: hoch auf dem geteilten Docker-Daemon. Deshalb sind lauf-spezifische Runtime-Ressourcen, ausschließlich gesperrte Dependency-Caches und begrenzte Prozessgruppen Teil des Ticket-Scopes. Die fünf Root-Closures entstehen parallel innerhalb eines gemeinsamen, atomaren Bundle-Schritts. Diese Isolation erlaubt Parallelität ohne Namens- oder Cache-Kollisionen.

Auslöser und Befund

Der Docker-Smoke in Actions-Lauf 10527, Job 44007, baute rund 79 Minuten alle Images, bevor der Worker-Smoke nach 1:21 Minuten mit Exit 1 und nur zwei Prisma-Ladezeilen scheiterte. Web-, Portal-, API- und MCP-Runtime waren zuvor grün. Parallel laufende PR-Jobs verwendeten dieselben globalen hivegrid-*:smoke-Tags, dieselbe Fake-Revision und denselben Host-Docker-Daemon. Auf node1 wurden gleichzeitig extreme Last, fehlende Snapshot-Layer, festhängende Container-Entfernung und Healthcheck-/FIFO-Timeouts beobachtet. Ein retained-image-Probecontainer beendete seinen Prozess mit Exit 0, blieb aber im Docker-Status removing hängen. Das belegt die Runner-/Daemon-Fehlerklasse, nicht einen reproduzierbaren Worker-Produktfehler.

Zusätzlich läuft auf node1 noch ein Runner, der timeout-minutes nicht wirksam durchsetzt. Dieses Ticket baut deshalb einen vom Runner unabhängigen Prozessgruppen-Hardcap ein. Ein Runner-Upgrade ist ein separater operativer Rollout und autorisiert keinen Neustart während aktiver Jobs.

Was wir bauen

Den vorhandenen Gitea-Docker-Smoke so härten, dass PR-Läufe den geteilten Daemon nicht gegenseitig verfälschen, ein kaputter Worker früh sichtbar wird und jeder Build-/Runtime-Schritt eine echte Obergrenze sowie verwertbare, secret-sichere Fehlerausgabe besitzt. Der Smoke bleibt ein lokaler Build gegen den persistenten BuildKit-Cache; es werden keine Images publiziert und keine Produktions-/Staging-Ressourcen verändert.

Definition of Done

  • Lauf-Isolation: echte gitea.sha-Revision; Image-Tags sowie Container-, DB-, Redis-, Netzwerk- und Controller-Volume-Namen enthalten run_id + run_attempt. Globale :smoke-Tags, Fake-SHA und kollidierende /tmp-Dateien sind im CI-Pfad ausgeschlossen.
  • Parallel-sichere Cache- und Laufisolation: die gemeinsamen Dependency-Layer bleiben über einen ausschließlich gesperrten, selbstheilenden Store deduplizierbar. Alle fünf Production-Closures entstehen parallel in einem atomaren Bundle-Layer, danach laufen ihre Prune-/SBOM-Stages ohne Store-Mount. Lauf-spezifische Runtime-Ressourcen erlauben Smokes verschiedener Refs ohne globale Job-Sperre; supersedierte Läufe werden abgebrochen statt weiter in der Queue zu stehen.
  • Zwei-Wellen-Ausführung und gezielter Retry: alle sechs Images bauen kontrolliert parallel und werden vollständig eingesammelt; erst nach dieser Barriere laufen alle sechs unveränderten, service-isolierten Runtime-Smokes parallel. Jeder Zieltyp bleibt einzeln erneut ausführbar und nutzt dabei das revisionsgleiche Web-Migrator-Image.
  • Echte Zeitgrenzen und Cleanup: portable Prozessgruppen-Timeouts begrenzen Suite, Builds, Runtime-Smokes, Docker-Probes, Logs und Cleanup. TERM wird nach kurzer Grace-Period zu KILL eskaliert; Exit 124 ist eindeutig. Cleanup erhält den ursprünglichen Fehlerstatus und kann den Job nicht endlos blockieren.
  • Verwertbare, secret-sichere Diagnostik: Stage, Dauer und Exit/Signal werden ausgegeben, aber weder argv noch Environment. Migrations-/db push-Fehler werden nicht unterdrückt; Containerlogs sind zeitlich und per Tail begrenzt. Keine ERR-/BASH_COMMAND-Ausgabe.
  • Proof: Workflow-/Runtime-Vertragstests, Typecheck, Lint und vollständige Testsuite sind lokal grün. Ein isolierter Gitea-Lauf beweist entweder den vollständigen grünen Docker-Smoke oder einen innerhalb des definierten Budgets abgebrochenen Fehler mit benannter Stage und Diagnose.

Technische Bausteine

  • .gitea/workflows/ci.yml: superseded-run-Cancellation, gitea.run_id/run_attempt, echte SHA und runner-unabhängiger Suite-Hardcap.
  • Dockerfile und scripts/ci/deploy-production-closures.sh: ein deduplizierter, gesperrter und selbstheilender v2-Store; Fetch plus fünf parallele Offline-Deploys bilden gemeinsam einen atomaren Closure-Layer, danach bleiben Pruning und SBOM target-spezifisch.
  • scripts/ci/docker-smoke-suite.sh: Zwei-Wellen-Orchestrator mit all sowie einzelnen Targets; run-spezifische Tags, Build-Barriere, Web-Migrator-Reuse und pro Phase begrenzte Ausführung.
  • scripts/lib/run-command-with-timeout.mjs: portabler Node-24-Prozessgruppen-Runner ohne Shell- Interpolation oder Ausgabe von Kommandoargumenten/Environment.
  • scripts/lib/docker-runtime-smoke.sh: gemeinsame Bash-3.2-Helfer für Run, Capture, Probe, Tail-Logs und statusbewahrenden Cleanup.
  • scripts/docker-*-runtime-smoke.sh: lauf-spezifische Ressourcen, sichtbare Migrationen, begrenzte Diagnostik/Cleanup.
  • scripts/verify-gitea-ci-workflow.mjs und Vertragstests: negative Guards gegen Fake-SHA, globale Tags, erneut eingeführte Job-Serialisierung, unkontrollierte Parallelität und fehlende Timeouts.

Retry-Vertrag

Ein fehlgeschlagener Lauf behält seine run-spezifischen Image-Tags. Auf demselben Runner kann exakt ein Target mit identischer Run-ID und Revision erneut ausgeführt werden, zum Beispiel DOCKER_SMOKE_RUN_ID=<run>-<attempt> DOCKER_SMOKE_REVISION=<sha> bash scripts/ci/docker-smoke-suite.sh worker. Fehlt das passende Web-Migrator-Image oder stimmt sein Revision-Label nicht, baut der Orchestrator nur dieses notwendige Image nach. Erfolgreiche Retries ersetzen keinen vollständigen CI-Proof.

Rollback

Repository-Rollback: Workflow auf den vorherigen monolithischen Docker-Smoke zurücksetzen und die neuen Orchestrator-/Helper-Dateien entfernen. Bereits erzeugte run-spezifische Tags und Ressourcen sind reine CI-Artefakte; sie können erst nach read-only Namensprüfung durch die bestehende Runner-Prune-Routine entfernt werden. Kein Daemon-Neustart, kein pauschales Löschen und keine Änderung an Staging/Produktion gehören zu diesem Rollback.

Quellen

  • Gitea Actions 10519/43979, 10527/44007 und paralleler Lauf 10523
  • Erfolgreicher isolierter Docker-Proof: Gitea Actions 10574/44135
  • .gitea/workflows/ci.yml · scripts/docker-*-runtime-smoke.sh
  • docs/AGENT-CHECKLIST.md · AGENTS.md §Estate-Infrastruktur/Deploy
  • infra/STANDARDS.md · infra/LESSONS.md (Shared Runner und Docker-Daemon)

Umsetzungs-Notiz

2026-07-18 · Raffael: Ticket nach Runner-/Workflow-Forensik angelegt. Der Produktbranch von VA-P26a bleibt unverändert. Startstand: CI-05: 0/6 DoD = 0 % done · 6 Punkte selbst machbar.

2026-07-18 · Raffael: Der Docker-Smoke ist lokal auf lauf-spezifische Images, Container, Netze und Volumes umgestellt und ref-übergreifend serialisiert. Der neue sequenzielle Orchestrator prüft Web und Worker zuerst, bietet einen revisionsgebundenen Einzel-Target-Retry und beendet die Gesamtsuite runner-unabhängig nach spätestens 42 Minuten. Jeder Build-, Migrations-, Rollen-, Runtime-, Probe-, Log- und Cleanup-Pfad besitzt einen benannten Prozessgruppen-Timeout mit TERM/KILL-Eskalation. Erwartete fachliche Ablehnungen benötigen zusätzlich zu ihrem Exit 1 einen ausschließlich im laufenden Container erzeugten Marker; Timeout 124, Spawn-, Transport- und Docker-Daemon-Fehler können Negativtests nicht mehr falsch-grün machen. Cleanup ist bei bereits fehlenden Ressourcen idempotent, meldet aber hängende oder nachweislich verbliebene Ressourcen, ohne den ursprünglichen Jobstatus zu überschreiben. Environment-Werte und Kommandoargumente werden nicht in Wrapper-Diagnosen ausgegeben.

Lokaler Proof: Typecheck und Lint grün; vollständige Suite: 957 Testdateien und 6.598 Tests bestanden, 10 Dateien beziehungsweise 55 Tests erwartungsgemäß übersprungen. Die fokussierten Timeout-/Runtime-/Workflow-Verträge sind 190/190 grün. Gitea-CI-Vertrag 167/167, Deploy-Vertrag 201/201, Portal-Controller-Vertrag 27/27, CI-Baseline 35/35, Source-Health 19/19, Docker-Baseline 309/309 und Non-Root 4/4 grün. Secret-Scan: 0 reale Treffer. bash -n, ShellCheck auf Warning-Level und git diff --check sind grün. Das unabhängige Diff-Review wurde bis zu den Negativtest-, RLS-Provisionierungs- und Cleanup-Fehlerklassen nachgezogen; alle konkreten Findings sind mit Regressionstests geschlossen.

Der erste Remote-Qualitätslauf zeigte zusätzlich eine Linux-spezifische Test-Harness-Falle: Der Gitea-Jobcontainer verwendet keinen reaping Init-Prozess, sodass bereits getötete Enkelprozesse als Zombies in /proc sichtbar bleiben und kill(pid, 0) weiter erfolgreich ist. Der Test akzeptiert jetzt ausschließlich die Linux-States Z/X/x oder ENOENT als terminiert; laufende und gestoppte States bleiben rot. Die produktive Timeout-Logik war davon nicht betroffen.

Remote-Proof: PR #159, Actions-Lauf 10574, Docker-Job 44135, Revision 794cf1caadf11d96ecb197dfe2850999c70d88f8. Der Job war nach 35:44 Minuten grün; die isolierte Suite selbst nach 34:46,190 Minuten. Web, Worker, API, MCP, Hocuspocus und Portal-Controller waren vollständig grün. Der Web-Build blieb mit 18:13 Minuten unter seinem 20-Minuten-Limit. Der danach früh ausgeführte Worker-Build dauerte 3:20 Minuten; runtime:worker war nach 45,456 Sekunden grün, einschließlich der zuvor unsichtbaren Migration in 31,753 Sekunden sowie Health-, Revisions-, Negativ- und Cleanup-Probes. Der Gesamtlauf war nur wegen der oben beschriebenen Linux-Zombie- Fehlklassifikation im separaten Unit-Test-Job rot; der Test-Harness-Fix ist lokal mit zehn Wiederholungen, 190/190 fokussierten Tests und der vollständigen Suite verifiziert.

Stand: CI-05: 6/6 DoD = 100 % done · 0 Punkte offen, 0 selbst machbar. Es wurden weder fremde Actions-Läufe abgebrochen noch Runner, Docker-Daemon, Staging oder Produktion verändert.

Performance-Nachzug nach Laufzeit-Regression

2026-07-19 · Raffael: Die historische Gegenprobe zeigt den harten Laufzeitknick: Mit allen sechs Targets war der Docker-Smoke in Run 10389 noch nach 8:58 Minuten fertig. Nach globalem sharing=locked, fünf zusätzlichen Production-Store-Rehydrationen und der vollständigen Serialisierung brauchten Runs 10424, 10440 und 10519 32:56, 25:18 und 25:15 Minuten. Der Controller beziehungsweise die Anzahl der Targets ist damit nicht die Hauptursache.

Der Nachzug nutzt den bereits warmen, ausschließlich gesperrt gemounteten v2-Store in genau einem Production-Bundle-Schritt. Dieser versucht alle fünf Offline-Deploys innerhalb desselben Locks parallel in getrennte /prod/*-Ziele. Bei einem vollständigen Warm-Store-Treffer entfällt pnpm fetch komplett. Erst nach einem Fehlschlag werden alle fünf Child-Prozesse eingesammelt, genau die fünf Zielverzeichnisse gelöscht, der Store mit einem frozen Fetch selbst geheilt und die vollständige parallele Welle einmal wiederholt. Fetch- und Retry-Fehler bleiben fail-closed. Die Closures werden gemeinsam als regulärer Layer-Output committed; Pruning und SBOM laufen anschließend pro Target außerhalb des Store-Locks. Damit bleibt die Selbstheilung nach BuildKit-Garbage-Collection erhalten, ohne eine vorsorgliche Store-Rehydration oder fünf serialisierte Deploys. Der Full-Smoke läuft in zwei kontrollierten parallelen Wellen. Alle Build-Childs werden vor dem Start der Runtime-Welle vollständig eingesammelt; alle Runtime-Ressourcen bleiben service- und laufisoliert. Die globale Job-Sperre entfällt und supersedierte PR-/Branch-Läufe blockieren den Runner nicht mehr. Der bereits parallele Deploy profitiert ohne Änderung seiner Release-, Signatur-, Migrations- oder Runtime-Gates von demselben Fetch-once-/Deploy-parallel-Vertrag.

Ein verworfener Zwischenstand mit fünf getrennten kalten Stores wurde in Run 10647 bewusst fail-closed widerlegt: Alle fünf Production-Targets erreichten parallel ihre Fetch-/Deploy-Stufe, erzeugten danach 20 Minuten lang keinen Fortschritt und liefen gemeinsam in den Build-Timeout. Hocuspocus war bereits nach 1:37 Minuten grün. Der Fetch-once-/Deploy-parallel-Vertrag ersetzt deshalb diesen Zwischenstand; fünf vollständige parallele Kalt-Fetches sind nicht Teil des Ergebnisses.

Run 10653 bestätigte anschließend die gemeinsame Prime-Barriere, widerlegte aber einen read-only gemounteten Store: Alle fünf Deploys starteten innerhalb von 0,2 Millisekunden und scheiterten mit ERR_SQLITE_ERROR, weil pnpm 11 seinen Store-Index auch bei --offline deploy schreibbar öffnet. Der Store bleibt deshalb nach dem Prime für pnpm-Metadaten schreibbar. Die Deploys enthalten weiterhin keinen eigenen Paket-Fetch.

Run 10663 bestätigte den parallelen Writable-Deploy vollständig: Der Docker-Smoke war nach 12:47 Minuten grün, alle fünf Deploys starteten innerhalb von 0,6 Millisekunden, luden null Pakete nach und alle sechs Runtime-Smokes bestanden in einer 1:47-Minuten-Welle. Der absichtlich pro Lauf leere Zwischenstore verursachte dabei aber noch 1.655 Downloads beziehungsweise 6:14 Minuten Prime-Zeit. Weil dies das Ziel weniger Minuten verfehlte, entfernt der finale Bundle-Vertrag diesen Run-Scope wieder: v2 wird im gesamten Dockerfile ausschließlich sharing=locked verwendet; andere Refs können den Store daher während Fetch und der intern parallelen Deploys weder lesen noch verändern.

Run 10665 lieferte den entscheidenden Zwischen-Proof: Der gemeinsame Store meldete 1.655 wiederverwendete und null heruntergeladene Pakete, trotzdem kostete der noch vorsorglich ausgeführte Fetch 222,9 Sekunden; die fünf parallelen Deploys danach nur rund 25 Sekunden. Der Web-Build war mit 13:16 Minuten Critical Path, davon entfielen allein 185,4 Sekunden auf einen Layer-Copy. Beim Jobstart liefen auf dem geteilten Docker-Host bereits 114 Container. Direkt nach dem I/O-intensiven Export blockierten fünf Runtime- Docker-Kommandos exakt am bisherigen 30-Sekunden-Limit und der Web-Artefaktcheck am 60-Sekunden-Limit. Die Image-Builds selbst waren vollständig grün; der Worker-Service-Job scheiterte unabhängig davon nach fünf Sekunden im Checkout am defekten Runner-Action-Cache, bevor Repository-Code lief.

Der finale Nachzug überspringt deshalb den belegten 222,9-Sekunden-Hot-Path, entfernt außerdem die ungenutzte docker/setup-buildx-action samt 83 Sekunden Setup und rund 14 Sekunden Post-Cleanup und setzt BuildKit direkt über DOCKER_BUILDKIT=1. Die parallel ausgeführten gesunden Runtime-Pfade werden nicht verlangsamt; nur ihre harten Docker-Kommando-/Artefakt-Caps steigen von 30/60 auf 90/180 Sekunden, damit kurze Daemon-Lastspitzen keinen falschen roten Lauf erzeugen.

Lokaler Proof: Ein echter, durch die Helper-Änderung invalidierter Build der production-deps-bundle-Stufe meldete alle fünf Starts innerhalb einer Millisekunde, null Downloads, alle fünf erfolgreichen Abschlüsse und READY source=warm-store; die Bundle-RUN selbst brauchte 20,6 Sekunden. Der Fetch-Fallback, exakte Cleanup-Grenzen, vollständiges PID-Reaping, genau ein Retry und die Fehlerweitergabe sind durch positive und negative Verträge geschützt. Die vier fokussierten Testdateien sind 246/246 grün; Gitea-CI-Vertrag 170/170, Docker-Baseline 329/329 und Controller-Deploy-Vertrag 31/31 grün. Typecheck, Lint und die vollständige Suite sind grün: 971 Testdateien beziehungsweise 6.724 Tests bestanden, 10 Dateien beziehungsweise 55 Tests wurden erwartungsgemäß übersprungen. ShellCheck, Dockerfile-Check, Action-Pins, Non-Root 4/4 und git diff --check sind ebenfalls grün. Der Remote-Lauf des finalen Nachzugs liefert den abschließenden Wallclock-Proof; bis dahin wird keine konkrete neue Zielzeit als erreicht behauptet.

Stand nach Performance-Nachzug: CI-05 bleibt 6/6 DoD = 100 % done. Die sechs Prüfoberflächen, Timeouts, Diagnostik, Einzel-Target-Retries und Laufisolation bleiben vollständig erhalten.

Temporäre Runner-Entlastung (2026-07-19): Der separate Gitea-A11y-Workflow ist bis einschließlich 2026-07-22 nur manuell startbar. Die schnellen A11y-Verträge in der Haupt-CI bleiben aktiv. Danach wird der separate Workflow mit UI-fokussierten Pfadfiltern wieder für Pull Requests aktiviert.

Der im ersten Remote-Lauf beobachtete Portal-Controller-Fehler war ein reproduzierbarer Test-Flake: 30 Sekunden Produktions-Lease waren im Test auf 30 Millisekunden komprimiert und konnten unter Runner-Last vor dem JavaScript-Heartbeat ablaufen. Nur die zwei zeitabhängigen Tests wurden auf virtuelle Timer umgestellt; die Lock-Implementierung bleibt unverändert. Proof: 64 parallele Fokusläufe mit Parallelität 16 sowie der Controller-Typecheck sind grün.

Der Database-Check in Run 10653 traf denselben Lasttyp: Ein gesunder kalter postgres:16-alpine-Start war nach rund 32 Sekunden bereit, während das Fixture bereits nach 30 Versuchen fail-closed abbrach. Nur das begrenzte Init-Fenster wurde auf 90 Sekunden erweitert; Migration und Assertions bleiben unverändert. Der lokale Clean-/Legacy-/Concurrency-Proof ist 13/13 grün.

Performance-Nachzug: CI- und Deploy-Critical-Path

2026-07-19 · Raffael: Der Deploy läuft künftig auf dem dedizierten Homeserver-Runner homeserver-hivegrid-deploy mit Kapazität 1 und ausschließlich dem Label toolctrl-deploy. Die Registrierung ist repository-scoped auf toolctrl-labs/HiveGrid-Cloud; der zunächst zu breit registrierte Runner wurde vor Nutzung deaktiviert, gelöscht und seine Registrierung widerrufen. Der operative Aufbau, die Repo-Scope-Prüfung und der Recovery-Pfad sind im separaten Infra-PR #4 dokumentiert. Preflight und Stage/Promote bleiben fail-closed, laufen nun aber in einem einzigen Runner-Job. Dadurch entfallen ein zusätzlicher Queue-Slot sowie ein zweiter Checkout, eine zweite Installation und ein zweiter Cache-Restore bei der Promotion. Die Produktions-Migrationskontrolle verwendet den bereits exakt auf die freigegebene SHA gebundenen Workspace erneut.

Jeder Staging-Build importiert nur das vorherige target-spezifische :staging-Image und exportiert den Cache inline mit dem ohnehin erforderlichen SHA-Image. Damit kann der neue Runner nach einem kalten Start Cache-Metadaten per Pull wiederverwenden, ohne sechs tote build-cache:*-Lookups oder einen separaten, nach dem eigentlichen Build zusätzlich fehleranfälligen Registry-Cache-Push. Die Coolify-Abfrage läuft alle zwei statt fünf Sekunden; das harte Fehlerbudget bleibt unverändert bei 450 Sekunden. Healthchecks behalten ihre 30-Sekunden-Steady-State-Frequenz und erhalten nur während des Startfensters ein Zwei-Sekunden-Intervall.

Der PR-CI-Job erzeugt den Prisma-Client einmal vor den Lesern und überlappt danach Typecheck/Lint, Foundation/Package-Tests und Core-Tests. Die Parallelität ist explizit begrenzt: vier Core-Worker, zwei Foundation-Worker sowie höchstens zwei Package-Prozesse mit jeweils einem Worker. So bleibt der Wallclock-Gewinn erhalten, ohne den geteilten 20-CPU-Runner neben den sechs Docker-Builds in Swap zu drücken. Docker-Builds rufen Prisma und die Build-Skripte ohne zusätzliche pnpm-Wrapper auf, erzeugen die vier DB-Runtime-Artefakte in einem Node/esbuild-Prozess und lassen .map/.d.ts bereits beim finalen BuildKit-Copy aus. Coverage und Bundle-Budget brechen supersedierte PR-Läufe jetzt ebenso ab wie die Haupt-CI.

Lokaler Proof: Sechs unabhängige CI-/Deploy-/Docker-Verifier und 315 fokussierte Vertrags-Tests sind grün. Typecheck, Lint, Foundation- und Package-Suiten sind grün. Der auf vier Worker begrenzte Core-Rerun bestand 972 Testdateien und 6.743 Tests; 10 Dateien beziehungsweise 55 Tests wurden erwartungsgemäß übersprungen, Wallclock 2:22,70 Minuten. Ein bewusst gleichzeitig ausgeführter kalter Portal-Controller-Build provozierte zuvor genau einen zeitabhängigen Core-Flake; der unbelastete identische Core-Rerun war vollständig grün. Das reale Controller-Image wurde danach erfolgreich geladen und beweist Nonroot-UID 1000, exaktes Revisionslabel, SBOM sowie null .map-/.d.ts-Dateien unter finalem node_modules. git diff --check ist grün. Der neue Remote-Lauf 10674 lieferte den Full-Docker- und Wallclock-Proof: Alle sechs Images und Runtime-Smokes waren in 16:35 Minuten grün; die eigentliche Build-Welle brauchte rund zwölf Minuten statt der zuvor beobachteten 80 Minuten. Typecheck/Test war nach 13:07 Minuten grün, sein paralleler Quality-Block nach 7:23 Minuten; Bundle-Budget und Coverage waren nach 9:34 beziehungsweise 4:12 Minuten grün. Der einzige rote Job scheiterte vor jedem Repository-Schritt im bekannten parallelen Action-Cache-Race des alten gitea/act_runner v0.6.1. Der node1-CI-Runner und der Homeserver-Deploy-Runner wurden deshalb bei vollständig leerer Queue auf den digest-gepinnten gitea/runner v1.0.8 gehoben; der Upstream-Fix ist seit v1.0.2 enthalten.

Der Wiederanlauf des Homeserver-Runners deckte zusätzlich einen bestätigten Docker-Engine-29.2.1- BuildKit-Panic im History-Listener auf. Bis zum kontrollierten Host-Upgrade auf die gefixte Engine-Linie 29.4+ nutzt jeder Staging-Deploy deshalb denselben docker-container-Builder mit digest-gepinntem BuildKit v0.31.2. Seine History ist auf 24 Stunden/20 Einträge, sein Cache auf 30 GB sowie 100 GB freien Host-Speicher und seine Parallelität auf zwölf Build-Schritte begrenzt. Er startet erst direkt vor der Build-Welle und wird danach auch bei regulären Fehlern gestoppt, aber nicht gelöscht; dadurch bleiben die begrenzten Paket-Cache-Mounts warm. Jeder folgende serialisierte Deploy stoppt zuerst eine verwaiste Host-Instanz; restart-policy=no verhindert ihren automatischen Wiederanlauf nach einem Docker-Neustart. Der Staging-Pfad prüft Host-Image, Restart-Policy und die tatsächlich geladene TOML unabhängig von den frischen Buildx-Client-Metadaten des Jobcontainers. Ein Hard-Abbruch kann damit nur diese eine stabile Instanz bis zum nächsten Deploy hinterlassen, aber kein weiteres Cache-Volume erzeugen. Der reale Fresh-Client-Boot/Stop/Restart beweist Driver docker-container, BuildKit v0.31.2, Cache-Erhalt und die übernommenen GC-Grenzen. Promotionen bauen weiterhin kein Image neu.

Der erste Lauf nach der Runner-Umstellung (10684–10686) bestätigte den Effekt: Bundle-Budget war nach 4:22 Minuten und Coverage nach 3:29 Minuten grün. Die Haupt-CI brauchte vom ersten bis zum letzten Job 16:09 Minuten; Docker Smoke war nach 15:05 Minuten grün, davon 14:13 Minuten für die Suite und rund 12:01 Minuten für die Build-Welle. Static 1/2, Build, API, MCP, Hocuspocus, Worker, Controller und DB brauchten 2:32/6:03, 7:30, 3:16, 1:37, 2:15, 3:52, 2:05 und 7:33 Minuten. Der grüne Hocuspocus-Lauf bestätigt insbesondere, dass das frühere Action-Cache-Race unter Runner v1.0.8 nicht wieder auftrat.

Der einzige rote Job dieses Laufs waren zwei lastabhängige 20-Sekunden-Testtimeouts. Die beiden alten Marketing-Report-Fixtures kopierten pro Negativfall rekursiv rund 41 MB beziehungsweise 4.896 Dateien; zusammen erzeugten sie etwa 248 MB und 29.000 Dateikopien im Docker-Overlay. Die Tests verlinken nun die nur gelesenen vollständigen apps-/packages-/prisma-Oberflächen und kopieren ausschließlich die wenigen mutierten Doku-Fixtures. Dadurch bleibt der globale 20-Sekunden-Guard scharf; außerdem enthält die KB-Fixture jetzt die zuvor fehlende packages-Oberfläche. Der Fokuslauf ist 8/8 grün bei rund 0,23 Sekunden je Datei. Typecheck, Lint und der vollständige lokale Lauf sind ebenfalls grün: 973 Testdateien und 6.762 Tests bestanden; 10 Dateien beziehungsweise 55 Tests wurden erwartungsgemäß übersprungen. Der Folge-Lauf liefert den abschließenden Remote-Proof.

Stand nach CI-/Deploy-Nachzug: CI-05 bleibt 6/6 DoD = 100 % done · 0 Punkte offen, 0 selbst machbar. RLS-, Migrations-, Signatur-, SBOM-, Nonroot-, Revision- und Runtime-Gates wurden nicht gelockert.

Der zweite Remote-Lauf (10687–10689) bestätigte den inkrementellen Docker-Cache: Eine reine Test-/Planungsänderung reduzierte die Build-Welle von rund zwölf auf 2:46 Minuten; alle sechs Anwendungs-Layer wurden wiederverwendet. Drei Runtime-Smokes brachen danach nicht an Migrationen oder Anwendungschecks ab, sondern während ihre frischen Postgres-Container unter der parallelen Hostlast noch im Post-Bootstrap liefen. Die bereits zentral definierte 90er Readiness-Grenze ersetzt deshalb für alle fünf DB-Smokes die versehentlich hart codierten 30 Versuche. TCP-Readiness, Fail-closed-Exit, Logs und der äußere 420-Sekunden-Hardcap bleiben unverändert. Der Cleanup bleibt begrenzt, erhält aber 15 statt fünf Sekunden; die drei fehlgeschlagenen Container-Entfernungen hatten jeweils erst nach dem bisherigen 5+2-Sekunden-Budget abgebrochen. Erfolgreiche Probes und Cleanups kehren weiterhin sofort zurück.

Der gleichzeitig rote Coverage-Lauf war ein unabhängiges Listener-Race im WebSocket-Gateway-Test: Ein 15-ms-Heartbeat konnte den Socket schließen, bevor der Test nach der Authentifizierung seinen close-Listener registrierte. Der Listener wird nun vor der Authentifizierung gesetzt; produktiver Code, Heartbeat-Intervall und globales 20-Sekunden-Testlimit bleiben unverändert. Der Fokusproof ist 130/130 grün; Gitea-CI-Vertrag 173/173, Docker-Baseline 355/355 und deren negative Vertrags-Suiten 165/165 sind grün. Der neue Remote-Lauf liefert den abschließenden End-to-End-Proof.

Stand nach Robustheits-Nachzug: CI-05 bleibt 6/6 DoD = 100 % done · 0 Punkte offen, 0 selbst machbar.