Refresh HiveGrid Cloud reference snapshot
This commit is contained in:
1 parent
5e99e14772
commit
7f88026f79
5955 files changed
+1177325
-188362
No files matched your search
@@ -0,0 +1,254 @@
|
||||
# HIVEGRID-198 · Produktion auf 10 VMs trennen und Promote-/DNS-Prozess fertigstellen
|
||||
|
||||
| Feld | Wert |
|
||||
| ------ | -------------------------------- |
|
||||
| Typ | Infra / Deployment |
|
||||
| Owner | Raffael |
|
||||
| Phase | Production |
|
||||
| Cycle | Backlog, am 2026-07-27 gestartet |
|
||||
| Status | Done |
|
||||
|
||||
## Abhängigkeiten & Parallelität
|
||||
|
||||
- **blocked-by:** Im Plane-Ticket und in den lokalen Ticket-Docs ist kein
|
||||
`blocked-by` hinterlegt.
|
||||
- **blocks:** Im Plane-Ticket und in den lokalen Ticket-Docs ist kein
|
||||
nachgelagertes `blocks`-Ticket hinterlegt.
|
||||
- Die bestehenden Runtime-Verträge aus `R-P1a`, AD-30, VR-MCP und dem
|
||||
Realtime-Modul bleiben unverändert. Der Cutover darf sie nur auf getrennte
|
||||
Hosts verschieben.
|
||||
- Die Produktion bleibt bis zum vollständigen Promote- und Smoke-Proof auf den
|
||||
alten Runtimes erreichbar. Alte Ressourcen werden erst nach dem
|
||||
Beobachtungsfenster bereinigt.
|
||||
|
||||
## Was wir bauen
|
||||
|
||||
Die bestehende HiveGrid-Produktion wird kontrolliert von fünf auf zehn klar
|
||||
getrennte VMs erweitert. Neu hinzu kommen eigene Hosts für Website, Portal,
|
||||
Admin, MCP und Realtime. Alle Hosts werden gehärtet, an Hetzner-Privatnetz,
|
||||
WireGuard-Mesh, Coolify sowie zentrales Logging und Monitoring angebunden.
|
||||
|
||||
Die vorhandenen Build-once-/Stage-/Promote-Verträge werden vollständig
|
||||
produktionsfähig gemacht. Production erhält exakt die in Staging geprüften
|
||||
SHA-/OCI-Digests; Migrationen laufen einmalig vor der Runtime-Mutation. DNS
|
||||
wechselt Service für Service mit dokumentiertem Rollback.
|
||||
|
||||
Verbindlicher Realtime-Hostname ist `realtime.hivegrid.de`.
|
||||
|
||||
Vom User am 2026-07-27 ausdrücklich in den Arbeitsumfang aufgenommen: ein
|
||||
eigenes Lago-Production-Setup mit separatem, versioniertem Object Storage,
|
||||
verschlüsseltem Backup und verifiziertem Restore-Drill. Mollie-Live-Side-Effects
|
||||
bleiben bis zum Abschluss der externen Gates in `EXT-16` ausdrücklich
|
||||
deaktiviert.
|
||||
|
||||
## Zielbild
|
||||
|
||||
1. Control/Coolify
|
||||
2. App/Web
|
||||
3. API
|
||||
4. Worker und private Seitendienste
|
||||
5. Datenbank/Stateful
|
||||
6. Website
|
||||
7. Portal inklusive Portal-Domain-Controller
|
||||
8. Admin nur über VPN/WireGuard und Authentik
|
||||
9. MCP
|
||||
10. Realtime/Hocuspocus
|
||||
|
||||
## Nicht im Scope
|
||||
|
||||
- Kubernetes
|
||||
- Load Balancer oder horizontale Replikation
|
||||
- Umzug der HiveGrid-Anwendungsdatenbank
|
||||
- automatische Skalierung
|
||||
- Aktivierung von Mollie-Live-Zahlungen vor KYC-, Legal- und Live-Key-Proof
|
||||
- Löschung alter Ressourcen vor Ende des Beobachtungsfensters
|
||||
|
||||
## Scope-Übergabe an HIVEGRID-207
|
||||
|
||||
Der User hat am 2026-07-28 entschieden, den noch ausstehenden autorisierten
|
||||
Production-E2E-Proof, das daran anschließende 72-Stunden-Beobachtungsfenster und
|
||||
die spätere Bereinigung der alten Rollback-Ressourcen als eigenständigen
|
||||
operativen Nachzug in `HIVEGRID-207` zu backloggen.
|
||||
|
||||
`HIVEGRID-198` schließt damit den Infrastruktur-, Cutover-, Promote-, DNS-,
|
||||
Backup-/Restore- und Observability-Scope ab. Die ausgelagerten Arbeiten werden
|
||||
unten transparent weitergeführt, zählen aber nicht mehr zur DoD dieses Tickets.
|
||||
Die alten Rollback-Ressourcen bleiben bis zum Sign-off von `HIVEGRID-207`
|
||||
unangetastet.
|
||||
|
||||
## Definition of Done
|
||||
|
||||
- [x] Hetzner-Limit ist mindestens 12.
|
||||
- [x] Fünf neue VMs sind erstellt, gehärtet und im privaten Netz/Coolify
|
||||
eingebunden.
|
||||
- [x] Logging, Monitoring und Healthchecks sind für alle fünf neuen Hosts grün.
|
||||
- [x] Website, Portal, Admin, MCP und Realtime laufen auf den vorgesehenen VMs.
|
||||
- [x] Admin hat eine echte fail-closed Runtime-Surface und ist nur über
|
||||
VPN/WireGuard plus Authentik erreichbar.
|
||||
- [x] Alle internen Verbindungen und DB-Rollen sind privat und nach Least
|
||||
Privilege geprüft.
|
||||
- [x] DNS, TLS und Cloudflare-Konfiguration sind für alle öffentlichen Hosts
|
||||
korrekt.
|
||||
- [x] HiveGrid-Cloud promotet exakt den getesteten SHA/Digest auf alle
|
||||
benötigten Production-Ressourcen.
|
||||
- [x] HiveGrid-Website promotet exakt den getesteten SHA/Digest auf die
|
||||
Website-Production-Ressource.
|
||||
- [x] Cloudflare-Purge nutzt Account/Zone korrekt, läuft nur beim Promote und
|
||||
bestätigt `success=true`.
|
||||
|
||||
**Fortschritt: 10/10 Infra-DoD = 100 % done.**
|
||||
|
||||
### Ausgelagerter operativer Nachzug
|
||||
|
||||
Diese Punkte sind unverändert verpflichtend, werden aber vollständig in
|
||||
`HIVEGRID-207` getrackt:
|
||||
|
||||
- [ ] Alle autorisierten Production-End-to-End-Smoke-Tests sind grün.
|
||||
- [ ] Das 72-Stunden-Beobachtungsfenster ist stabil abgeschlossen und alte
|
||||
Rollback-Ressourcen wurden erst danach bereinigt.
|
||||
|
||||
## Technische Bausteine
|
||||
|
||||
- Hetzner Cloud `fsn1`, privates Produktionsnetz und WireGuard-Mesh
|
||||
- Coolify Projekt `HiveGrid`, Environment `production`, eine Resource pro
|
||||
Runtime
|
||||
- Cloudflare SSL `strict`; Public Records erst nach Origin-Zertifikats-Proof
|
||||
proxied; Admin ohne öffentlichen A/AAAA-Record
|
||||
- `realtime.hivegrid.de` als umgebungsneutraler Hocuspocus-Gateway-Hostname
|
||||
- Gitea Package Registry und bestehender Build-once-/Promote-Workflow
|
||||
- einmaliger Migrator vor Runtime-Rollout; keine Runtime-Migrations-Credentials
|
||||
- getrennte Least-Privilege-Rollen für App, Portal, Worker und Admin-JIT
|
||||
- private Lago-API, eigenes PostgreSQL/Redis, eigener S3-Bucket und
|
||||
restic-Backup
|
||||
|
||||
## Quellen
|
||||
|
||||
- Plane `HIVEGRID-198`
|
||||
- `AGENTS.md`, Abschnitt „Estate-Infrastruktur“
|
||||
- `docs/deployment.md`
|
||||
- `docs/ops/prod-rollout-hivegrid.md`
|
||||
- `docs/ops/lago-production-prep.md`
|
||||
- `docs/ARCHITECTURE-DECISIONS.md`, insbesondere AD-30
|
||||
- Infra: `README.md`, `STANDARDS.md`, `LESSONS.md`
|
||||
- Infra: `runbooks/hivegrid-production-split-cutover.md`
|
||||
- Infra: `diagrams/hivegrid-production-topology.md`
|
||||
|
||||
## Umsetzungs-Notiz
|
||||
|
||||
### 2026-07-27
|
||||
|
||||
- Hetzner-Limit bestätigt und fünf CX23-Hosts in `fsn1` erstellt.
|
||||
- Alle neuen Hosts gehärtet, privat vernetzt, ins WireGuard-Mesh und in Coolify
|
||||
aufgenommen; Monitoring, Logs und Host-Health sind grün.
|
||||
- Separate Coolify-Ressourcen für Website, Portal, Admin, MCP und Realtime
|
||||
angelegt. DNS-01-Origin-Zertifikate und der private Admin-Split-DNS-Pfad sind
|
||||
vorbereitet; öffentliche Records wurden noch nicht umgeschaltet.
|
||||
- Runtime-Rollen, RLS, PgBouncer-Pfad und Produktions-Allowlist nach Least
|
||||
Privilege geprüft. Die Migrationshistorie wurde über den einmaligen
|
||||
Promote-Migrator auf den aktuellen Stand gebracht; die alte Runtime blieb
|
||||
danach gesund.
|
||||
- Lago Production mit eigener Datenbank, Redis, privater API, deaktiviertem
|
||||
Signup und separatem versioniertem Object Storage provisioniert. Der
|
||||
verschlüsselte Snapshot `73b2c338` wurde vollständig in disposable
|
||||
PostgreSQL/Redis plus API, Frontend, Worker, Billing-Worker und PDF-Service
|
||||
restauriert. Der S3-Schreib-/Lese-/Lösch-Canary war grün.
|
||||
- Mollie-Live ist weiterhin nicht freigegeben. Die Runtime benötigt deshalb
|
||||
den expliziten Schalter
|
||||
`PRODUCT_ACQUISITION_PROVIDER_SIDE_EFFECT_REQUIRED=false`; ungültige Werte
|
||||
und fehlende Provider-Konfiguration im aktivierten Modus schlagen
|
||||
fail-closed fehl.
|
||||
- Tests: Typecheck und Lint grün; Vollsuite nach der Gate-Änderung mit 1.122
|
||||
Testdateien und 7.821 Tests grün, 10 Dateien beziehungsweise 60 Tests
|
||||
erwartungsgemäß übersprungen. CI-Proof folgt vor Promote.
|
||||
- Lokale Commits: Cloud Runtime-Gate `85fac5bb7`; Infra Backup/Restore und
|
||||
Runbook `936a32a`.
|
||||
|
||||
### 2026-07-28
|
||||
|
||||
- Die fünf neuen Produktions-VMs tragen den Live-Traffic: Website
|
||||
`188.34.157.34`, Portal `167.233.117.104`, Admin privat auf `10.42.0.14`,
|
||||
MCP `2.28.5.232` und Realtime `2.28.5.14`. Alle elf Cloud-Ressourcen und alle
|
||||
fünf Worker-Gruppen sind gesund.
|
||||
- DNS/TLS-Cutover abgeschlossen: `hivegrid.de`/`www`, `portal` inklusive
|
||||
Domain-Controller, `mcp` und `realtime` laufen über Cloudflare mit SSL
|
||||
`strict`. `admin.hivegrid.de` hat bei öffentlichen Resolvern keinen Record,
|
||||
die öffentliche Admin-IP bietet kein HTTPS. Über den WireGuard-Meshpfad
|
||||
liefert Admin den exakten Release und leitet fail-closed zu
|
||||
`auth.tool-ctrl.de` weiter.
|
||||
- HiveGrid-Cloud PR `#281` wurde normal gemergt. Staging Run `11387` und
|
||||
Production Promote Run `11389` sind für den exakten Merge-SHA
|
||||
`ce08af27b217aa55ccc5daab5ffe66b995ccb3f4` grün. Core, Admin und Portal
|
||||
verwenden denselben Web-Digest
|
||||
`sha256:ca579bc0c39dea6b6b865c095457a5508edf455e59b80394f51942b4a49ece81`.
|
||||
API, MCP, Realtime und Worker melden ebenfalls exakt diesen Commit über ihre
|
||||
eigenen unveränderlichen Digests.
|
||||
- Die Website läuft auf Revision `5271afc` und Digest
|
||||
`sha256:2d776182df98c36cb47e7c710860e48d1ae3331a48d60cce271f1787c207c7b6`.
|
||||
Production Run `11385` war grün; der abschließende Cloudflare-Purge bestätigte
|
||||
`success=true`.
|
||||
- Frischer Backup-Gate-Proof für den Promote: PostgreSQL-Restic-Snapshot
|
||||
`b10d7874` von `2026-07-28T00:09:30Z`, Repository-Check ohne Fehler,
|
||||
Prüfsumme gültig und vollständiger Restore in PostgreSQL 16 mit 373
|
||||
öffentlichen Tabellen, 212 Prisma-Migrationen und 372 FORCE-RLS-Tabellen.
|
||||
Die Live-Datenbank wurde beim Drill nicht verändert.
|
||||
- Production-Acceptance-Hotfix `aded46303`: Bei
|
||||
`PRODUCT_ACQUISITION_PROVIDER_SIDE_EFFECT_REQUIRED=false` wird kein
|
||||
Mollie-Reconciler gebootstrapped und ein vorhandener 5-Minuten-Scheduler
|
||||
entfernt. Web/API/Worker verwenden bei leerem `SENTRY_RELEASE` den
|
||||
unveränderlichen `APP_REVISION`. Proof: Typecheck, Lint, Release-Build,
|
||||
Runtime-/Deploy-Verträge, 107 fokussierte Tests und die Vollsuite mit 1.122
|
||||
Testdateien beziehungsweise 7.823 bestandenen Tests; alle elf zentralen
|
||||
PR-CI-Gates grün.
|
||||
- Öffentliche Acceptance: Health/Readiness für Core, Portal, API und MCP jeweils
|
||||
HTTP 200 auf dem exakten Release; API unauthentifiziert 401 und mit
|
||||
Service-Token 200; MCP-Metadaten mit korrektem Issuer und zwölf Scopes,
|
||||
tokenloser Initialize-Aufruf 401 mit Bearer-Challenge; Realtime-WebSocket
|
||||
Upgrade 101.
|
||||
- Monitoring: Prometheus 34/34 aktive Targets `UP`, inklusive beider Exporter
|
||||
auf allen zehn Hosts. Loki liefert aktuelle Production-Logs aller zehn Hosts
|
||||
mit `project`, `environment`, `server`, `service`. Zehn Minuten nach dem
|
||||
Rollout meldete Sentry für Web, API und Worker jeweils null aktuelle
|
||||
Production-Issues; seit dem neuen Worker-Rollout erschien auch in Loki keine
|
||||
Meldung des zuvor periodischen `UnsupportedWorkerJobError`.
|
||||
- Rollback-Snapshots liegen lokal unter
|
||||
`~/.cli-tokens/hivegrid-dns-before-hivegrid-198-20260727T143742Z.json` und
|
||||
`~/.cli-tokens/hivegrid-coolify-before-hivegrid-198-20260727T143827Z.json`.
|
||||
Das Infra-Runbook dokumentiert Release-first-/DNS-second-Rollback,
|
||||
Forward-only-Migrationen, Backups und das 72-Stunden-Fenster.
|
||||
- Noch offen: ein freigegebener echter Production-Login für Core-Read/Write,
|
||||
Portal-Login/Upload/Logout, Admin-JIT, autorisierten MCP-Aufruf und
|
||||
autorisierten Realtime-Roundtrip. Für den Rollout wurde bewusst kein
|
||||
Production-Passwort zurückgesetzt und keine Testidentität erfunden. Erst
|
||||
nach diesen Checks beginnt das verbindliche 72-Stunden-Fenster; alte
|
||||
Rollback-Ressourcen bleiben bis zu dessen Sign-off bestehen.
|
||||
- Der Promote wurde für beide Repositories auf einen input-freien manuellen
|
||||
Run vereinfacht. HiveGrid-Website PR `#6` wurde normal gemergt; Run `11405`
|
||||
promotete den live auf Staging geprüften Release `ec9402a` ohne Neubau nach
|
||||
Production und bestätigte dort dieselbe Revision.
|
||||
- HiveGrid-Cloud behandelt einen manuellen Run von `main` jetzt ausschließlich
|
||||
als Production-Promote. Der Workflow liest den vollständigen SHA aus der
|
||||
live Staging-Core-Health-Antwort, prüft Service/Surface, Main-Ancestry und
|
||||
alle sechs `staging`-OCI-Digests und behält RLS-, Migrator-, Runtime-,
|
||||
Health- und Digest-Gates unverändert bei. Der manuelle Start ist die
|
||||
auditierte Operator-Bestätigung der zuvor geprüften Backup- oder
|
||||
Restore-Point-Bereitschaft.
|
||||
- Lokaler Proof für den Cloud-Nachzug: Typecheck und Lint grün; 185 fokussierte
|
||||
Deploy-/Readiness-Tests grün; `verify:gitea-ci-workflow`,
|
||||
`verify:deploy-workflow`, `verify:deploy-readiness`,
|
||||
`verify:ci-baseline` und `verify:source-health` grün; Vollsuite mit 1.122
|
||||
bestandenen Testdateien beziehungsweise 7.823 bestandenen Tests, 10 Dateien
|
||||
beziehungsweise 60 Live-Integrationstests erwartungsgemäß übersprungen.
|
||||
- Abschluss-Proof der input-freien Workflows: HiveGrid-Cloud Staging-Run
|
||||
`11409` und Production-Promote `11411` sind für
|
||||
`d060e626ccebe84d5df01717c9b04c8b3ff6fd15` grün; Staging und Production
|
||||
melden für Core, Portal, API und MCP exakt diesen Release. Der nachfolgende
|
||||
Website-Run `11412` promotete Dejans neuen Staging-Stand `cfd08ee` ohne
|
||||
Eingaben; `staging.hivegrid.de` und `hivegrid.de` meldeten danach beide
|
||||
`cfd08ee`.
|
||||
- User-Entscheidung vom 2026-07-28: Production-E2E, das daran anschließende
|
||||
72-Stunden-Fenster und die Altressourcen-Bereinigung werden in
|
||||
`HIVEGRID-207` weitergeführt. Die bestehenden Rollback-Ressourcen bleiben bis
|
||||
zu dessen Sign-off erhalten.
|
||||
|
||||
**Stand: 10/10 Infra-DoD = 100 % done · operativer Nachzug vollständig nach
|
||||
HIVEGRID-207 übertragen.**
|
||||
Reference in new issue
Block a user