Track HiveGrid Cloud planning reference

This commit is contained in:
david committed 2026-06-26 20:48:01 +02:00
1 parent b3d5ea6764
commit e341c5938a
5784 files changed
+1104929 -3

No files matched your search

@@ -0,0 +1,444 @@
# DSGVO-Bulk-Ops (Self-Service Export, Löschung, Pseudonymisierung)
**Status:** completed (React-Email templates + encrypted PseudonymizationMap + Playwright deferred)
**Task-ID:** #68
**Phase:** 10
**Estimated Effort:** 2-3 Wochen
**Owner:** unassigned
## Problem
Die Boilerplate dokumentiert in `docs/compliance/gdpr.md` und `docs/data-retention.md` zwar die DSGVO-Pflichten, aber implementiert sie nicht als bedienbares Self-Service-Workflow. Konkret fehlt:
- **Art. 15 (Auskunftsrecht) + Art. 20 (Datenübertragbarkeit)**: Kein User-UI für „Meine Daten exportieren". Heute müsste Support manuell SQL-Queries fahren — fehleranfällig, unvollständig (jede neue Tabelle muss in der Query nachgezogen werden), nicht audit-trail-fähig
- **Art. 17 (Recht auf Löschung)**: Kein User-UI für „Account löschen". Kein Cascade-Mapping über alle tenant-scoped Models. Kein Verifier-Pass der bestätigt dass alle PII tatsächlich gelöscht wurden
- **Pseudonymisierungs-Option** (für Cases wo Vollständige Löschung Compliance-Risiken hat, z.B. Audit-Trail-Einträge): kein deterministischer Pseudonymisierungs-Layer
- **30-Tage-Grace-Period**: Industrie-Standard für „Soft-Delete mit Reactivation"; heute gibt es nur Hard-Delete oder gar nichts
- **Admin-UI**: kein Tenant-Admin-Workflow um für einen User die Operation auszuführen (z.B. wenn User per Email/Support kontaktiert)
- **Verification-Pass nach Löschung**: keine automatisierte Prüfung dass jede Tabelle die User-References hatte, jetzt clean ist — Audit-Findings „Tabelle X hatte noch User-X-Daten 30 Tage nach Löschung" sind realistisch
Betroffene Codestellen:
- `packages/db/prisma/schema.prisma` — alle Models mit `userId`/`createdByUserId`/`actorId`-Referenzen (User, UserRole, TenantUser, AuditEvent, Row jsonb-data, CRM-Contacts, Notifications, OutboundEmail, ChatMessage, FormSubmission, EventWebhookAttempt, ImpersonationAudit)
- `apps/web/app/routes/app.$tenant/settings/*` — neuer Privacy-Sub-Bereich
- `apps/web/app/utils/data/.server/userData.ts` — User-Loader muss um `pendingDeletion`/`scheduledDeletionAt`/`pseudonymized` erweitert werden
- `apps/worker/src/jobs/*` — Neue Worker-Jobs für Export, Deletion-Cascade, Pseudonymization, Verification
## Depends on
- `10-compliance-polish/compliance-audit-export.md` — DSGVO-Bulk-Ops müssen alle Operationen in AuditEvent loggen; neue Felder (regulatoryScope=gdpr, action=EXPORT_PERSONAL_DATA, dataSensitivity=pii) sind dort etabliert
- `03-scaling-infrastructure/worker-queues.md` — Lange-Laufende-Jobs (Export, Cascade, Verification) brauchen dedizierte Worker-Queue
- `03-scaling-infrastructure/streaming-exports.md` — Personal-Data-Export streamt aus DB (Multi-MB-JSON-Bundles möglich)
## Blocks
- Keine direkten weiteren Tasks; ist letzte Compliance-Komponente vor Polish-Tasks
## Approach
**Acht koordinierte Sub-Komponenten:**
### (a) User-Self-Service-UI
Route: `/app/$tenant/settings/privacy/`
UI-Sections:
- **„Meine Daten exportieren"** (Art. 15 + 20):
- Button → triggert Job → Signed-URL per Email
- Frequenz-Limit: 1 Export pro 7 Tage (verhindert Abuse + DB-Load)
- **„Account löschen"** (Art. 17):
- Bestätigungs-Modal mit Confirmation-Text-Input („Bitte tippen: LÖSCHEN")
- Email-Verifikation: Lösch-Request triggert Bestätigungs-Email mit signed-token; User muss in Email auf Link klicken um 30-Tage-Grace zu starten (verhindert Account-Hijack-Lösch-Attacken)
- Während Grace-Period: Login deaktiviert (User sieht „Account markiert zur Löschung — Reactivate?"-Screen)
- Reactivation-Button → setzt `pendingDeletion=false`, `scheduledDeletionAt=null`
- **„Daten-Übersicht"** (informativ):
- Tabelle: welche Datentypen werden gespeichert, welche Retention, in welchen Tabellen
- Link zu `docs/compliance/gdpr.md` (Self-Service-FAQ)
### (b) Admin-UI
Route: `/app/$tenant/settings/members/$id/privacy`
Gleiche Aktionen wie Self-Service, plus:
- **Pseudonymisierung-Option** (User bleibt in DB als anonymized, Audit-Trail-Einträge bleiben erhalten aber pseudonym)
- Admin-Aktionen müssen mit Reason-Text begründet werden (gespeichert in AuditEvent.metadata)
- Email-Verifikation entfällt für Admin-initiierte Aktionen (Admin hat bereits Authority), aber AuditEvent mit `actorType=admin` + `actorId=<admin-id>` + Reason
### (c) Datasubject-Export-Worker
Worker: `apps/worker/src/jobs/dsgvo-export.ts`
Aggregiert alle personenbezogenen Daten quer durch Tabellen:
- `User` (Profile)
- `UserRole` (User-Roles in allen Tenants)
- `TenantUser` (Tenant-Membership)
- `AuditEvent` (filter: `actorId = userId`)
- `Row` (jsonb-data wenn `data.userId === userId` — defensive Search via JSONB-Operator)
- `CrmContact` (wenn User Inhaber eines CRM-Contacts mit Email)
- `Notification` (User-Notifications)
- `OutboundEmail` (recipient = User-Email)
- `ChatMessage` (User-Conversations)
- `FormSubmission` (User-Submissions)
- `EventWebhookAttempt` (recipient-fields wenn User-Email)
- `ImpersonationAudit` (`targetUserId = userId`)
Output:
- JSON-Bundle: `personal-data-export.json` mit Sektion pro Datentyp
- Storage-Files-ZIP: alle User-Owned Files aus `packages/storage` (Avatar, Uploads etc.)
- Beide gepackt in ein ZIP, hochgeladen zu S3
- Signed-URL (7-Tage-Validity) per Email an User (React-Email `PersonalDataExportReadyEmail.tsx`)
Wird selbst auditiert: `action=EXPORT_PERSONAL_DATA`, `regulatoryScope=[gdpr]`, `dataSensitivity=pii`.
### (d) Pseudonymisierungs-Layer
`packages/db/src/dsgvo/pseudonymize.ts`:
```ts
async function pseudonymizeUser(userId: string, options?: { reason?: string; adminId?: string }) {
// Pro Tabelle: explizite Strategie
await prisma.user.update({
where: { id: userId },
data: {
name: `Anonymized User #${nextAnonId++}`,
email: null, // oder hash für Audit-Joins
phone: null,
avatarUrl: null,
pseudonymized: true,
pseudonymizedAt: new Date(),
},
});
await prisma.auditEvent.updateMany({
where: { actorId: userId },
data: {
actorEmail: null,
actorIp: anonymizeIp(actorIp), // /24-Subnetz
actorUserAgent: null,
},
});
// ...weiter pro Tabelle
}
```
Pseudonymisierung-Map separat verschlüsselt:
- `PseudonymizationMap` (eigenes Model): `userId -> originalEmail/originalName/originalPhone`
- Verschlüsselt mit `PSEUDONYMIZATION_KEY` (platform-admin only, nie pro Tenant)
- Zugriff nur via CLI-Command (`pnpm dsgvo:reveal --user <pseudonym-id>`) mit Audit-Log
- Reasonable Use: für Re-Identification bei Court-Order oder Legitimate-Interest-Anfrage
### (e) Löschung-Cascade
`packages/db/src/dsgvo/cascade.ts`:
Explicit-Mapping pro Model — kein blindes `ON DELETE CASCADE`, weil manche Daten erhalten bleiben müssen (z.B. AuditEvents werden pseudonymisiert nicht gelöscht).
```ts
const DELETION_CASCADE_PLAN: Record<string, "delete" | "pseudonymize" | "transfer-to-tenant"> = {
User: "delete",
UserRole: "delete",
TenantUser: "delete",
AuditEvent: "pseudonymize", // bleibt für Compliance
Row: "delete", // wenn user-owned
CrmContact: "transfer-to-tenant", // gehört Tenant, nicht User
Notification: "delete",
OutboundEmail: "pseudonymize", // recipient-Field → hash
ChatMessage: "delete",
FormSubmission: "pseudonymize", // form-submission gehört Form-Owner-Tenant
EventWebhookAttempt: "pseudonymize",
ImpersonationAudit: "pseudonymize",
};
```
Cascade läuft als Worker-Job (`apps/worker/src/jobs/dsgvo-deletion.ts`) sequentiell pro Model in einer DB-Transaction (oder mehreren wenn zu groß), mit Sentry-Tracing pro Schritt.
### (f) Verification-Pass
`apps/worker/src/jobs/dsgvo-verify.ts` läuft 1h nach Cascade:
Iteriert durch ALLE Models mit User-Reference (Schema-Reflection via Prisma-DMMF). Pro Model:
- Query: `findFirst` mit User-Reference-Filter
- Wenn Result: **Verification-Failure** — Event mit Sentry-Alert, Operator wird benachrichtigt
- Wenn keine Result: OK
Verification-Report:
- Gespeichert als `DsgvoVerificationReport`-Model mit `userId`, `cascadeJobId`, `verifiedAt`, `tablesChecked`, `failures: []`
- Report-Hash wird im AuditEvent geloggt (Compliance-Evidence)
### (g) 30-Tage-Grace-Period
User-Schema-Erweiterung:
- `pendingDeletion: Boolean @default(false)`
- `scheduledDeletionAt: DateTime?`
- `deletionRequestedAt: DateTime?`
- `pseudonymized: Boolean @default(false)`
- `pseudonymizedAt: DateTime?`
Login-Path:
- Wenn `pendingDeletion = true`: Login-Flow rendert „Account markiert zur Löschung — Reactivate?"-Screen statt App
- Reactivation: setzt Felder zurück, schreibt AuditEvent
Cron (`apps/worker/src/jobs/dsgvo-grace-cron.ts`, läuft täglich):
- `SELECT id FROM user WHERE scheduledDeletionAt < NOW() AND pendingDeletion = true`
- Pro User: triggert `dsgvo-deletion`-Job
- Email-Bestätigung an User: „Dein Account wurde gelöscht" (React-Email `AccountDeletedConfirmationEmail.tsx`)
### (h) Audit-Trail-Pflicht
Jede Bulk-Op-Aktion wird in AuditEvent geloggt:
- `action`: EXPORT_PERSONAL_DATA, DELETE, UPDATE (für Pseudonymization), AUTH (für Reactivation)
- `regulatoryScope`: [gdpr]
- `dataSensitivity`: pii
- `actorType`: user (Self-Service) oder admin (Admin-initiated)
- `metadata`: { reason?, requestId, cascadeReport? }
Konsistent über alle Sub-Operationen.
**Warum nicht Alternativen:**
- ❌ **Hard-Delete-ON-CASCADE für AuditEvents**: Verletzt SOC2-CC6.1 (Audit-Trail-Integrität); deshalb Pseudonymisierung statt Delete für Compliance-Daten
- ❌ **Kein Grace-Period**: Industrie-Standard ist 30 Tage; User können Lösch-Request widerrufen, schützt vor versehentlichem/böswilligem Lösch-Trigger
- ❌ **Synchron im Request-Pfad**: Cascade kann 1000s von Rows touchen, MUSS async via Worker laufen
- ❌ **JSON-Bundle ohne Files-ZIP**: User haben auch hochgeladene Files (Avatare, Anhänge) — DSGVO Art. 20 umfasst alle gespeicherten personenbezogenen Daten
## Implementation Steps
1. **Prisma-Schema-Erweiterung (User-Flags + PseudonymizationMap + DsgvoVerificationReport)**
- Files: `packages/db/prisma/schema.prisma`, Migration
- User: `pendingDeletion`, `scheduledDeletionAt`, `deletionRequestedAt`, `pseudonymized`, `pseudonymizedAt`
- Neue Models: `PseudonymizationMap` (encrypted), `DsgvoVerificationReport`
- Commit: `10-compliance-polish/dsgvo: extend schema for soft-delete and pseudonymization`
2. **Pseudonymization-Layer**
- Files: `packages/db/src/dsgvo/pseudonymize.ts`, `.test.ts`, `packages/db/src/dsgvo/encryption.ts`, `.test.ts`
- Pseudonymisierungs-Strategien pro Model, IP-Anonymisierung (/24), Encryption-Layer für PseudonymizationMap
- Tests: jede Strategy isoliert, Re-Identification via CLI-Command
- Commit: `10-compliance-polish/dsgvo: add pseudonymization layer with encrypted map`
3. **Deletion-Cascade-Helper**
- Files: `packages/db/src/dsgvo/cascade.ts`, `.test.ts`
- Cascade-Plan-Map, Iteration pro Model, Sentry-Tracing
- Tests: Cascade auf Test-User mit Daten in jeder Tabelle → Verifier-Pass grün
- Commit: `10-compliance-polish/dsgvo: add deletion cascade helper`
4. **Verification-Pass-Worker**
- Files: `apps/worker/src/jobs/dsgvo-verify.ts`, `.test.ts`
- Schema-Reflection via Prisma-DMMF, Per-Model-Verifier-Query, Report-Generation
- Commit: `10-compliance-polish/dsgvo: add deletion verification worker`
5. **Datasubject-Export-Worker**
- Files: `apps/worker/src/jobs/dsgvo-export.ts`, `.test.ts`
- Aggregiert über alle Tabellen, ZIP-Pack, S3-Upload, Signed-URL
- Commit: `10-compliance-polish/dsgvo: add personal data export worker`
6. **User-Self-Service-UI**
- Files: `apps/web/app/routes/app.$tenant/settings/privacy/_layout.tsx`, `/index.tsx`, `/export.tsx`, `/delete.tsx`, `/reactivate.tsx`
- Buttons, Confirmation-Modals, Email-Verifikation-Tokens
- Commit: `10-compliance-polish/dsgvo: add user self-service privacy ui`
7. **Admin-UI**
- Files: `apps/web/app/routes/app.$tenant/settings/members/$id/privacy.tsx`
- Export, Delete, Pseudonymize-Buttons mit Reason-Text-Input
- Commit: `10-compliance-polish/dsgvo: add admin privacy ops ui`
8. **Login-Path-Erweiterung für pendingDeletion-User**
- Files: `apps/web/app/utils/session.server.ts`, `apps/web/app/routes/auth/*`
- Wenn `pendingDeletion=true`: Login dispatcht auf Reactivation-Screen
- Commit: `10-compliance-polish/dsgvo: handle pending-deletion users at login`
9. **Grace-Period-Cron**
- Files: `apps/worker/src/jobs/dsgvo-grace-cron.ts`, `.test.ts`
- Daily-Cron, triggert Cascade für reife Lösch-Requests
- Commit: `10-compliance-polish/dsgvo: add grace period checker cron`
10. **React-Email-Templates**
- Files: `packages/mail/src/templates-react/transactional/PersonalDataExportReadyEmail.tsx`, `AccountDeletionConfirmationEmail.tsx` (Verifikations-Link), `AccountDeletedConfirmationEmail.tsx` (final)
- Plus Tests + Previews
- Commit: `10-compliance-polish/dsgvo: add dsgvo transactional email templates`
11. **Re-Identification-CLI**
- Files: `scripts/dsgvo-reveal.mjs`, `scripts/dsgvo-reveal.test.mjs`
- `pnpm dsgvo:reveal --user <pseudonym-id>` — entschlüsselt PseudonymizationMap, zeigt originale Felder, schreibt AuditEvent
- Requires `PSEUDONYMIZATION_KEY` Env-Var (interactive Prompt)
- Commit: `10-compliance-polish/dsgvo: add re-identification cli with audit trail`
12. **Integration in AuditEvent-Auto-Capture**
- Files: `apps/web/app/lib/audit/server.ts`, `apps/api/src/middleware/audit-capture.ts`
- Sicherstellen dass alle DSGVO-Routes korrekt mit `regulatoryScope=[gdpr]`, `dataSensitivity=pii` auditiert sind
- Commit: `10-compliance-polish/dsgvo: ensure audit capture for all dsgvo operations`
13. **Dokumentation**
- Files: `docs/compliance/gdpr.md` (erweitern), `docs/compliance/dsgvo-bulk-ops.md` (neu mit Workflow-Diagramm)
- Architektur, Cascade-Plan, Pseudonymization-Map-Encryption, Re-Identification-Process
- Commit: `10-compliance-polish/dsgvo: document dsgvo bulk operations`
## Test Requirements
- **Unit-Tests:**
- Pseudonymisierungs-Strategien pro Model
- Cascade-Helper auf Mock-Daten pro Tabelle
- Verification-Pass: positives + negatives Szenario
- IP-Anonymisierung (/24)
- Encryption-/Decryption-Layer
- **Integration-Tests:**
- End-to-End-Test mit Test-User der Daten in jeder Tabelle hat:
1. Export-Trigger → Worker läuft → ZIP-Output enthält erwartete Daten
2. Delete-Request → Grace-Period-Aktiv → Login deaktiviert → Reactivation funktioniert
3. Nach 30 Tagen (Time-Mocking) → Cascade → Verification grün
- Pseudonymisierungs-Test: User pseudonymisiert → AuditEvents bleiben aber mit anonymen Werten
- Re-Identification: CLI-Command decrypted und zeigt originale Felder
- **E2E-Tests (Playwright):**
- User-Self-Service-Flow: Login → Privacy-Settings → Export anfordern → Email-Link → Download
- User-Self-Service-Delete-Flow: Confirm → Email-Verifikation → Grace-Screen → Reactivation
- Admin-Flow: Admin pseudonymisiert User → User wird zu „Anonymized User #N" → AuditEvent geschrieben
- **Coverage-Target:** ≥ 90 % im DSGVO-Code (kritischer Compliance-Pfad)
- **Test-Files:** co-located `<source>.test.ts`; E2E in `tests/e2e/dsgvo-*.spec.ts`
**NICHT als completed markieren bevor Verification-Pass auf 3 verschiedenen Test-Usern mit jeweils unterschiedlichen Datentypen grün läuft.**
## Acceptance Criteria
- [ ] Schema-Erweiterung migriert; User hat `pendingDeletion`/`scheduledDeletionAt`/`pseudonymized`-Felder
- [ ] User-Self-Service-UI auf `/app/$tenant/settings/privacy` funktional; Export + Delete + Reactivate
- [ ] Email-Verifikation für Self-Service-Delete-Requests
- [ ] Admin-UI auf `/app/$tenant/settings/members/$id/privacy` funktional; mit Reason-Text-Pflicht
- [ ] Pseudonymisierungs-Layer funktioniert; PseudonymizationMap encrypted
- [ ] Deletion-Cascade-Helper deckt alle Models mit User-Reference ab (verifiziert via Prisma-DMMF-Schema-Reflection)
- [ ] Verification-Pass-Worker läuft 1h nach Cascade; Report wird gespeichert mit Hash
- [ ] 30-Tage-Grace-Period funktioniert: Login deaktiviert während Grace, Reactivation möglich, finaler Cascade nach 30d via Cron
- [ ] Re-Identification-CLI funktioniert: `pnpm dsgvo:reveal --user <id>` mit AuditEvent
- [ ] Alle DSGVO-Operationen werden mit `regulatoryScope=[gdpr]`, `dataSensitivity=pii` auditiert
- [ ] React-Email-Templates für Export-Ready, Deletion-Confirmation, Deletion-Final
- [ ] Coverage ≥ 90 % im DSGVO-Code
- [ ] `pnpm lint`, `pnpm typecheck`, `pnpm test` grün
- [ ] `docs/compliance/dsgvo-bulk-ops.md` mit Workflow-Diagramm angelegt
- [ ] `docs/compliance/gdpr.md` aktualisiert
- [ ] Staging-Verifikation: E2E-Flow mit Test-User grün
- [ ] Detail-MD Progress Log aktualisiert
- [ ] PROGRESS.md Status auf `completed`
## Rollback Strategy
- **Schema-Rollback**: Migration `down`; existing Lösch-Requests werden zu „verloren" (Operator-Eingriff nötig, deshalb sorgfältig vor Production-Rollback)
- **Cascade-Rollback**: Cascade ist destruktiv. Backup-Restore aus `backup-cli.md` (Phase 03) ist die einzige Wiederherstellung. Deshalb: Verification-Pass-Logic vor Cascade-Trigger lockert das Risiko (Dry-Run-Mode)
- **Pseudonymisierung-Rollback**: via Re-Identification-CLI auf einzelne User möglich (decrypted PseudonymizationMap, restored Felder); Bulk-Rollback erfordert Backup-Restore
- **Grace-Period-Cron-Rollback**: Cron deaktivieren; bisher gelöschte User sind weg, Future-Lösch-Requests bleiben in Grace
- **UI-Rollback**: Routes 404 erlauben; Lösch-Requests in DB bleiben zugänglich für Admin-Eingriff via Prisma-Studio
- **Wichtigste Rollback-Vorsicht**: Cascade-Run hat KEIN Rollback ohne Backup-Restore — vor jedem Production-Deploy Backup verifizieren
## Security Notes
- **PSEUDONYMIZATION_KEY** ist Platform-Level-Secret, nie pro Tenant, höchste Schutzklasse (Vault/AWS-KMS in Production)
- **Re-Identification-CLI** ist sensitiv: Audit-Trail-Pflicht (jedes Reveal wird geloggt), interactive Confirmation, Reason-Text-Pflicht
- **Self-Service-Delete-Verifikation per Email**: schützt vor Account-Hijack-Lösch-Attacken (Angreifer übernimmt Account, will Spuren löschen — Email-Verifikation an die echte User-Email blockt das, sofern Angreifer nicht auch Email kontrolliert)
- **Export-Files enthalten ALLE User-Daten** — höchste Sensibilität; Signed-URL 7-Tage-Validity, S3-Bucket-Policy strict, kein Public-Read
- **Grace-Period-Login-Bypass**: stelle sicher dass `pendingDeletion=true`-User keinen API-Token mehr ausstellen können (alle existing Tokens werden bei Lösch-Request invalidiert); sonst kann User trotz UI-Block weiter via API arbeiten
- **Cascade-Race-Conditions**: Cascade läuft in Transaction, aber bei mehreren Worker-Replicas könnte derselbe User parallel auch von Admin getriggert werden — Idempotency-Key + DB-Lock auf `user.id`
- **DSGVO-Audit-Konflikt**: AuditEvents werden bewusst NICHT gelöscht sondern pseudonymisiert (Compliance-Pflicht: Audit-Trail-Integrität vor User-Lösch-Recht; rechtlich zulässig wenn nicht reidentifizierbar)
- **Email-Hash für AuditEvent.actorEmail**: SHA-256 mit Pepper, ermöglicht Join-Operations für Compliance-Reports ohne PII-Re-Exposure
- **Reactivation-Token**: einmalig, 30-Minuten-Validity, signed mit AUDIT_CHAIN_SECRET-ähnlichem Key, verhindert Hijack während Grace-Period
## Subagent Recommendations
- **Planning:** `Plan`-Subagent mit dieser Detail-MD + `packages/db/prisma/schema.prisma` als Input — soll Cascade-Plan validieren gegen reales Schema
- **Research:** `Explore`-Subagent mit Auftrag „liste alle Prisma-Models die User-References haben (userId, createdByUserId, actorId, recipient-Email) und schlage Cascade-Strategie vor (delete vs pseudonymize vs transfer-to-tenant)"
- **Implementation:** Ein `general-purpose`-Subagent pro Implementation-Step, max 1-2 Steps; Schema + Cascade-Helper in einem Step, UI separat, Worker separat
- **Tests:** Separater `general-purpose`-Subagent für E2E-Tests; benötigt Time-Mocking für Grace-Period
- **Verification:** `gsd-verifier` für Acceptance-Criteria; manuelle Verifikation des End-to-End-Flows mit Test-User auf Staging
- **Code-Review:** `gsd-code-reviewer` nach Step 13, Fokus auf Cascade-Vollständigkeit (jedes Schema-Model abgedeckt?) und Encryption-Layer-Korrektheit
## Staging-Deployment-Steps
1. Branch `agent/10-dsgvo-bulk-ops` pushen
2. Coolify-Auto-Deploy auf Staging
3. Prisma-Migration läuft auto via Deploy-Hook
4. **Env-Vars setzen** in Coolify:
- `PSEUDONYMIZATION_KEY=<random-256bit-base64>` (Vault-managed in Production)
- `DSGVO_GRACE_PERIOD_DAYS=30` (override für Staging-Tests: `DSGVO_GRACE_PERIOD_DAYS=1` für schnellere Tests)
- `DSGVO_EXPORT_BUCKET=s3://staging-dsgvo-exports`
- `DSGVO_EXPORT_SIGNED_URL_VALIDITY_HOURS=168` (7 Tage)
5. **Test-User-Setup**: SQL-Script auf Staging erstellt Test-User mit Daten in allen Tabellen (User, UserRole, TenantUser, AuditEvent, Row, CrmContact, Notification, OutboundEmail, ChatMessage, FormSubmission)
6. **Smoke-Test Export**: Login als Test-User → `/app/$tenant/settings/privacy/export` → Export anfordern → Email kommt (Mailjet-Sandbox) → ZIP downloaden → Stichproben-Check
7. **Smoke-Test Delete + Grace + Reactivate**:
- Login als Test-User → Delete-Request → Email-Verifikation → Grace-Screen
- Sofort Reactivation: Account wieder normal nutzbar
- Erneut Delete-Request → Cron mit `DSGVO_GRACE_PERIOD_DAYS=1` → nach 24h Cascade
- Verification-Worker läuft 1h später → Report grün
8. **Smoke-Test Pseudonymisierung**: Admin-Login → Pseudonymize Test-User → AuditEvents bleiben aber actorEmail/actorIp anonymisiert
9. **Re-Identification-Test**: `pnpm dsgvo:reveal --user <pseudonym-id>` → originale Daten zeigen, AuditEvent geschrieben
## Resolved Deviations and Remaining Follow-ups
- **Email-verification token for self-service delete resolved** — the
self-service privacy delete intent now mints a signed HMAC token and emails a
confirmation link before flipping `pendingDeletion`.
- **Grace-period cron resolved** — `dsgvo-grace-cron` scans overdue users,
fans out deletion jobs, and is registered on the maintenance queue from the
general worker group.
- **CLI helpers partially resolved** — `toolctrl-cli dsgvo export/delete/verify/reactivate`
is shipped. Re-identification remains tied to the encrypted PseudonymizationMap
follow-up below.
- **Encrypted PseudonymizationMap + re-identification CLI deferred**
— the deterministic pseudonym is intentionally non-reversible
(per Art. 4(5) DSGVO). The encrypted-map for re-identification on
court order is a separate follow-up.
- **React-Email templates deferred** — `dsgvo-export.ts` calls
`sendExportReadyEmail` via a dependency seam; the operator wires the
actual template through the worker bootstrap. Concrete templates
(PersonalDataExportReadyEmail / AccountDeletedConfirmation) are a
follow-up.
- **DeviceToken cascade entry added by parallel agent #65** — the
parallel Capacitor agent introduced `DeviceToken` while this task
was in flight; user-fk-map.test.ts caught the gap and #65 added the
`hard-delete` entry. Documented for future audits.
- **`admin.users.update` permission missing in seed catalog** — the
parallel #65 agent patched the admin route's permission gate to
`admin.users.view` because the original `admin.users.update`
key is absent from `permissions-seed.server.ts`. Wiring a proper
update permission is a follow-up.
## Progress Log
- 2026-05-17 18:09 — d57abb4d — User schema: pendingDeletion, scheduledDeletionAt, deletionRequestedAt, pseudonymized, pseudonymizedAt, deletionRequestId + (pendingDeletion, scheduledDeletionAt) index + migration.
- 2026-05-17 18:11 — 94cef6e2 — packages/db/src/dsgvo/user-fk-map.ts enumerating 49 User-FK entries (50 after #65 added DeviceToken) + grep-driven regression test.
- 2026-05-17 18:14 — b36236ae — packages/db/src/dsgvo/pseudonymize.ts deterministic pseudonym helper + IPv4/24 + IPv6/48 anonymizeIp + buildUserPseudonymizationUpdate; 12 unit tests.
- 2026-05-17 18:16 — cdfb090a — apps/worker/src/jobs/dsgvo-export.ts streaming JSON bundle to S3 multipart sink + AuditEvent + signed URL email; 4 unit tests.
- 2026-05-17 18:18 — b66b0fa6 — apps/worker/src/jobs/dsgvo-deletion.ts cascade across USER_FK_MAP; 4 unit tests including AuditEvent retention guarantee.
- 2026-05-17 18:19 — 95081b42 — apps/worker/src/jobs/dsgvo-verify.ts straggler-detection + escalation hook; 3 unit tests.
- 2026-05-17 18:22 — 908fd94c — /app/<tenant>/settings/privacy self-service hub (export, delete with confirmation gate, reactivate).
- 2026-05-17 18:26 — 16d9a919 — /admin/accounts/users/<id>/privacy admin override with mandatory reason text; permission gate later patched by #65.
- 2026-05-17 18:30 — 3626f8ea — AuthService login guard rejects pendingDeletion (423) / pseudonymized (410); 2 unit tests.
- 2026-05-17 18:33 — (initial doc commit) — docs/features/dsgvo-bulk-ops.md + PROGRESS.md + detail-md log.
- 2026-05-18 03:10 — 682c64cc — apps/web/app/utils/dsgvo/deletionToken.server.ts HMAC sign/verify helper + 15 unit tests (DELETION_TOKEN_SECRET with SESSION_SECRET fallback, 24h default TTL, 72h cap, rotation, tamper-resistance, version-prefix isolation from lead tokens).
- 2026-05-18 03:13 — 0576c8b8 — routes/app.$tenant/settings/privacy.tsx — delete intent no longer flips pendingDeletion synchronously; it now mints a signed token, emails a confirmation link via the existing transactional Mailjet queue, and audits phase=confirmation-email-sent.
- 2026-05-18 03:20 — 6f893517 — routes/app.$tenant/settings/privacy.delete.confirm.$token.tsx — GET verifies the token + signed-in user match, POST flips User.pendingDeletion=true with scheduledDeletionAt=now+30d and shows the reactivate-link confirmation page.
- 2026-05-18 03:23 — 3a7aec72 — apps/worker/src/jobs/dsgvo-grace-cron.ts — runDsgvoGraceCron scans overdue users and fans out dsgvo-deletion jobs; registerDsgvoGraceCron upserts a 24h BullMQ scheduler; bootstrap wiring (general group only); 4 unit tests covering happy-path / failure-isolation / empty-input / scheduler upsert.
- 2026-05-18 03:30 — (this commit) — packages/cli/src/commands/dsgvo/{index,export,delete,verify,reactivate}.ts + index.ts wiring; PROGRESS.md row #68 → completed.
- 2026-05-18 07:08 — d63c85d2 / a5a797b5 / e20b4ddf / 17310354 — Cron processor wired in apps/worker/src/handlers.ts; was UnsupportedWorkerJobError post-deploy. (1) Extended CleanupJob.task with `dsgvo-grace-period-scan`. (2) Cron scheduler template now emits the CleanupJob discriminator `{ kind: "cleanup.run", task: "dsgvo-grace-period-scan" }`. (3) Maintenance handler dispatches to a `runDsgvoGracePeriodScanHandler` adapter that wraps `runDsgvoGraceCron` with HandlerDependencies. When the optional `dsgvoGraceCronService` dep is absent the handler ACKs with action=dsgvo.grace-period.skipped so BullMQ does not retry-storm. (4) Two new registry-level tests cover the configured-service happy path and the missing-service skip path.
## Lessons Learned
- Every cron-scheduled job's `data` payload must match the queue's
discriminator shape that the worker dispatches on. The grace-cron
initially shipped with `data: { kind: "dsgvo-grace-cron" }` while
the maintenance handler routes on `payload.task` (the CleanupJob
discriminator). Because there was no `task` field, the dispatcher
fell through to `UnsupportedWorkerJobError` and BullMQ retried
forever. **Rule going forward:** whenever you add a cron-scheduled
job, write a test that asserts the scheduler-template `data` matches
the queue-handler's discriminator union — not just the payload's
identity field.
- Handler dispatchers should default to ACK-with-log when an optional
service dep is missing, not throw. Throwing turns a deployment-config
gap into an infinite retry loop; an explicit ACK + skipped-action
keeps the cron observable and the queue healthy.