Files
Multi_Swarm_Coevolutive/docs/decisions/2026-05-10-gate-phase1.md
T
Adriano 6a201c7e49 docs: scaffolding decision memo + technical report Phase 1
Aggiunge i template per gate decision memo (sez. 4.4 spec) e technical
report (sez. 4.5 spec). Da popolare con numeri reali a chiusura del run
phase1-real-001 (in corso).

Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
2026-05-10 11:21:26 +02:00

4.7 KiB

Gate Phase 1 — Decision Memo

Data: 10 maggio 2026 Run analizzati: phase1-real-001 (in attesa di completamento; eventuali run successivi listati qui) Spesa totale Phase 1: $TBD di $700 cap (=TBD%) Tempo speso Phase 1: TBD settimane (calendar) Status: TEMPLATE — completare con numeri reali a fine run.


1. Premessa

Questo memo formalizza la valutazione dei 5 hard gate definiti nello spec strategico (docs/superpowers/specs/2026-05-09-decisione-strategica-design.md, sez. 4.4) sulla base dei risultati della/e run reale/i. Segue la regola "mai self-approve": author pass seguito da review pass adversarial prima della decisione formale.

I gate sono numerici per costruzione: PASS o FAIL è meccanico, non discrezionale. Discrezionale è solo l'azione successiva quando uno o più gate falliscono.


2. Author pass — valutazione hard gate

Gate 1 — Loop converge

Soglia: la fitness mediana della popolazione cresce per ≥3 generazioni consecutive prima di plateau.

Misura osservata:

Generazione Median fitness Variazione
0 TBD
1 TBD TBD
2 TBD TBD
3 TBD TBD
4 TBD TBD
5 TBD TBD
6 TBD TBD
7 TBD TBD
8 TBD TBD
9 TBD TBD

Numero di generazioni consecutive con crescita: TBD.

Esito: PASS / FAIL

Razionale: TBD.


Gate 2 — Output formalizzabile

Soglia: ≥80% delle proposte LLM passano il parser S-expression senza intervento manuale.

Misura osservata:

  • Evaluations totali: TBD
  • Parse success: TBD (= TBD%)
  • Parse error: TBD

Distribuzione errori più frequenti:

  • TBD

Esito: PASS / FAIL

Razionale: TBD.


Gate 3 — Tail superiore

Soglia: i top-5 genomi hanno DSR in-sample ≥ 1.5x la mediana di popolazione.

Misura osservata:

  • Median DSR popolazione: TBD
  • Top-5 DSR: TBD, TBD, TBD, TBD, TBD
  • Top-5 mediano: TBD
  • Ratio (top-5 mediano / pop median): TBD

Esito: PASS / FAIL

Razionale: TBD.


Gate 4 — Diversità non collassa

Soglia: entropia della distribuzione di fitness in popolazione > 0.5 a fine run.

Misura osservata:

  • Entropy generazione finale: TBD
  • Entropy iniziale (gen 0): TBD
  • Trend entropy: TBD

Esito: PASS / FAIL

Razionale: TBD.


Gate 5 — Cost predictability

Soglia: spesa effettiva entro ±30% della stima preventivata ($500-700 per Phase 1).

Misura osservata:

  • Stima preventivo: $500-700 (mid $600)
  • Spesa reale: $TBD (somma total_cost_usd su tutti i run Phase 1)
  • Deviazione: TBD%

Esito: PASS / FAIL

Razionale: TBD.


3. Soft observations (informative, non vincolanti)

  • Diversità cognitiva: cognitive_style sopravvissuti a fine run: TBD su 6 originali.
  • Top-5 ispezione qualitativa: i top genomi propongono strategie strutturalmente diverse o sono cloni? TBD.
  • Failure mode parser: tassonomia degli errori parse dominanti (TBD).
  • Cerbero/Deribit data quality: gap nei dati storici, anomalie. TBD.

4. Author pass — conclusione

Esito complessivo author pass: PASS / FAIL / PARTIAL

Hard gate falliti (se presenti): TBD.

Decisione raccomandata dall'autore:

  • GO Phase 2 (specificare aggiustamenti)
  • ITERATE Phase 1 (specificare cosa cambiare prima di un nuovo run)
  • PIVOT (specificare dominio o approach alternativo)
  • STOP (specificare razionale + learnings)

Razionale autore: TBD.


5. Review pass — red team adversarial

Modalità review pass: subagent Claude red-team / collega umano / fresh-eyes 48h. (Selezionare e documentare).

Critiche strutturate ricevute:

  1. Cherry-picking: i numeri sopra sono stati cherry-picked? Quali run sono stati esclusi e perché? TBD.
  2. Statistical robustness: i gate basati su DSR usano n_trials corretto? Bonferroni applicato? TBD.
  3. Overfitting al training: c'è hold-out genuino o tutta la valutazione è in-sample? TBD.
  4. Diversità apparente vs reale: signal correlation fra top-5 misurata? Possono essere cloni che hanno solo prompt diversi? TBD.
  5. Cost trap: la spesa è entro budget ma vicina al cap? Estrapolando linearmente, Phase 2 sfora? TBD.

Contro-evidenze raccolte / fix applicati:

  • TBD.

6. Decisione finale

Decisione: [GO Phase 2 | ITERATE Phase 1 | PIVOT | STOP]

Razionale finale (post-review): TBD.

Aggiustamenti per la fase successiva:

  • TBD.

Documenti correlati prodotti:

  • docs/reports/2026-05-10-phase1-technical-report.md (report tecnico ~5 pagine)
  • docs/runs/2026-05-10-phase1-real-001.md (per ogni run, da creare se serve)

Memo da committare insieme al report tecnico Phase 1. Versione 1.0 del template — popolare con dati reali a chiusura run.