Multi_Swarm_Coevolutive/docs/reports/2026-05-10-phase1-technical-report.md

Phase 1 Lean Spike — Rapporto Tecnico

Autore: Adriano Dal Pastro Data: 10 maggio 2026 Versione: 1.0 (finalizzato) Status: ✅ Phase 1 chiusa, tutti 5 hard gate passati

Documenti correlati:

• docs/superpowers/specs/2026-05-09-decisione-strategica-design.md (decisione strategica B3)
• docs/superpowers/plans/2026-05-09-phase1-lean-spike.md (piano implementativo)
• docs/decisions/2026-05-10-gate-phase1.md (decision memo finale)

---

1. Setup sperimentale

L'obiettivo della Phase 1 lean spike è dimostrare che il loop tecnico (LLM hypothesis → backtest falsification → adversarial check → GA selection) funziona end-to-end e produce output formalizzabile. I cinque hard gate definiti nello spec sez. 4.4 misurano feasibility, non alpha edge — quella è valutazione di Phase 2.

1.1 Configurazione del run di riferimento

Il run phase1-real-005 (id 1c526996160446b18c0fb57d94874975) è il primo a superare tutti i gate dopo 4 iterazioni di bug-fix (vedi sez. 3 del decision memo).

Parametro	Valore
Population size (K)	20
Generazioni	10
Elite k	2
Tournament k	3
Crossover probability	0.5
Random seed	42
Symbol	BTC-PERPETUAL (Deribit)
Timeframe	1h
Range storico	2024-01-01 → 2026-01-01 (2 anni, 17545 candele)
Fees backtest	5 basis points
n_trials_dsr	50
Tier LLM dominante	C (qwen3-235b-a22b-2507 via OpenRouter)
Cerbero MCP endpoint	http://localhost:9001 (locale)
Durata wall-clock	29 minuti
Costo LLM	$0.069

1.2 Stack tecnologico

Python 3.13, uv 0.10.9. Test framework: pytest + pytest-mock + responses. Persistence: sqlite3 + sqlmodel. Parsing strategia: json.loads con dataclass-based AST. Analytics: pandas + numpy + scipy. LLM: openai SDK con base URL OpenRouter (route unica per tutti i tier S/A/B/C/D). HTTP: requests + tenacity. Dashboard: streamlit + plotly + canvas HTML5 custom.

1.3 Architettura del run

L'orchestrator (src/multi_swarm/orchestrator/run.py, 184 righe) coordina la pipeline end-to-end:

1. OHLCV loading: CerberoOHLCVLoader chiama mcp-deribit/tools/get_historical paginando in chunk da 4500 barre (cap soft Deribit ~5000). Cache parquet su sha1 della query — il run v5 ha riusato cache popolata dai run precedenti, fetch istantaneo.
2. Market summary: statistiche return (mean, std, skew, kurt) + classificazione regime volatilità.
3. Initial population: 20 genomi distribuiti uniformemente sui 6 cognitive style (physicist, biologist, historian, meteorologist, ecologist, engineer), temperature random in [0.7, 1.2], lookback random in {100, 150, 200, 300}.
4. Per ogni generazione (10 totali):
   • Hypothesis: chiamata LLM con prompt SYSTEM (regole grammar) + USER (market summary). Output JSON estratto via regex fence ```json. Se parse/validation fallisce: retry 1x con error message nel prompt utente.
   • Falsification: AST compilato in Callable[[df], Series[Side]], backtest event-driven con 1-bar exec delay, calcolo Sharpe + Deflated Sharpe (Bailey & López 2014, n_trials=50).
   • Adversarial: 4 check euristici (no_trades, degenerate, overtrading, undertrading).
   • Fitness: 0.5*dsr + 0.25*(tanh(sharpe)+1) × 1/(1+max_dd), range [0, ~1]. Kill (=0) su zero trade o HIGH adversarial finding.
   • Next generation: elitism 2 + tournament 3 + 50% crossover / 50% mutation.
5. Persistence SQLite: ogni genome, evaluation, cost_record, adversarial_finding, generation summary persistito con indici per query rapide della dashboard.

1.4 Caveat metodologici noti

• In-sample: il backtest in Phase 1 lean spike non usa walk-forward; tutto il range 2024-2026 viene usato sia per la generazione delle ipotesi sia per la loro valutazione. La sopravvivenza out-of-sample è esplicitamente fuori scope di Phase 1 (gate Phase 2 #2).
• Compiler con indicatori built-in: il compiler JSON-based (src/multi_swarm/protocol/compiler.py) calcola RSI, SMA, ATR, MACD, realized_vol localmente con pandas. CerberoTools è plumbed ma non chiamato durante l'esecuzione delle strategie — è disponibile per agenti future-tense ma il fitness Phase 1 dipende solo dagli indicatori locali.
• RSI epsilon-floor: il compiler ha un epsilon sul roll_down per evitare RSI=100 esatto su serie monotonicamente crescenti (artefatto matematico irrilevante su dati reali ma documentato).
• Top-1 strategia con DSR marginale: vedi sez. 3.

---

2. Loop convergence

2.1 Fitness per generazione

Gen	Median	Max	P90	Entropy
0	0.0001	0.0601	0.0165	0.588
1	0.0042	0.1893	0.0731	1.261
2	0.0188	0.3347	0.2039	1.333
3	0.0069	0.3347	0.3347	1.347
4	0.0910	0.3347	0.3347	1.415
5	0.0016	0.3347	0.3347	0.611
6	0.0040	0.3347	0.3347	0.886
7	0.0151	0.3347	0.3347	0.982
8	0.0066	0.3347	0.3347	0.746
9	0.0061	0.3347	0.3347	0.914

2.2 Lettura

Convergenza tre-step iniziale: gen 0→1→2 mostra crescita mediana 4x-50x (0.0001 → 0.0042 → 0.0188) e crescita max 3x-6x (0.06 → 0.19 → 0.33). Gate 1 PASS su questa finestra.

Plateau dell'elite da gen 2: max stabile a 0.3347 per le restanti 7 generazioni — comportamento atteso con elite_k=2 che preserva il top performer attraverso le generazioni. P90 si allinea al max da gen 3, segno che almeno 2 elite mantengono la top fitness.

Median oscillante: dopo il picco a gen 4 (0.091), la median fluttua fra 0.0016 e 0.0151 nelle generazioni successive. Causa: turnover stocastico della popolazione (mutation + crossover) introduce genomi nuovi, alcuni dei quali parse correctly ma falliscono Adversarial (no_trades) e si attestano a fitness 0, abbassando la median. Non è regressione strutturale del GA.

Entropy: oscilla 0.6-1.4 dopo gen 0, sempre sopra soglia 0.5 → diversità di fitness preservata anche durante plateau dell'elite.

---

3. Top-5 genomi: ispezione qualitativa

Rank	Genome ID	Gen	Style	Fitness	DSR	Sharpe	Max DD	Trades	Temp
1	696052b8...	2	physicist	0.3347	0.0021	0.381	0.0215	33	0.68
2	169376a2...	1	engineer	0.3347	0.0021	0.381	0.0215	33	0.78
3	eb0265ad...	3	ecologist	0.2453	0.0006	−0.019	0.0011	1	1.14
4	38d4c1d9...	1	engineer	0.1893	0.0001	−0.245	0.0028	1	0.82
5	3e355975...	1	physicist	0.1893	0.0001	−0.245	0.0028	1	0.78

3.1 Top-1 strategia (ispezione approfondita)

System prompt (engineer): "Cerca segnali con rapporto S/N favorevole, filtri causali, robustezza a perturbazioni di calibrazione."

Strategia JSON (3 regole, evaluation in ordine):

• LONG: SMA(10) crossover SMA(30) AND realized_vol(20) > 0.3% AND RSI(14) < 45.
• SHORT: SMA(10) crossunder SMA(30) AND realized_vol(20) > 0.3% AND RSI(14) > 55.
• EXIT: (RSI(14) > 70 AND close crossover SMA(50)) OR realized_vol(20) < 0.1%.

Lettura economica: trend-following SMA-cross fast/slow modulato da filtro volatilità (entra solo quando il regime è abbastanza mosso, esce quando è troppo calmo) e filtro RSI come momentum confirmation (long solo se non già ipercomprato; short solo se non già ipervenduto). L'EXIT è sofisticato: esce su overbought confermato da break sopra MA50, OPPURE su collasso di volatilità.

Performance: 33 trade su 17545 candele (1 trade ogni 532 candele = 1 ogni 22 giorni). Sharpe positivo modesto, max drawdown 2.15% (basso). DSR praticamente zero (0.0021) — il segnale non è statisticamente significativo dopo correzione multiple testing, perché 33 trade su 2 anni è sample piccolo.

Plausibilità: pattern economicamente sensato, non casuale. Reminiscente di strategie trend-following classiche (Donchian, turtle-style) con filtri di regime. Lo stile cognitivo "engineer" (S/N favorable, filtri causali) si riflette nella struttura.

3.2 Top-2/3/4/5 brevemente

• Top-2 è una replica funzionale di Top-1 con metriche identiche. Plausibile elite duplicato o convergenza indipendente sulla stessa strategia (verifica per Phase 2: signal correlation fra duplicati).
• Top-3, 4, 5 hanno 1 trade ciascuno su 2 anni. Sono "lucky shot": una posizione tenuta a lungo che casualmente termina con leggera vincita. Adversarial flagga MEDIUM undertrading ma non HIGH, quindi sopravvivono. La fitness function continua dà loro valore non-zero perché tanh(sharpe) è leggermente sopra 0.5 e penalty drawdown è quasi 1.0 (max_dd <0.5%).

3.3 Ratio top-1 / median

Median fitness su 98 evals: 0.0003. Top-1 fitness: 0.3347. Ratio: 1116x — Gate 3 soddisfatto con margine drammatico (soglia 1.5x).

---

4. Parser failure modes

4.1 Statistiche aggregate v5

• Evaluations totali: 98
• Parse success: 98 (100.0%)
• Parse failure: 0 (0.0%)

4.2 Confronto con iterazioni precedenti

Run	Grammar	Parse success	Note
v1	S-expression	33%	LLM nesta indicators non supportati
v4	S-expression (con arity check post-fix)	36%	89 di 98 errori = indicator nested
v5	JSON Schema	100%	Refactor commit 44eb643

Il salto da 36% a 100% deriva interamente dal cambio di grammar. JSON è natively supported dal training dei modelli LLM moderni; S-expression è esotica e induce hallucination di sintassi creative.

4.3 Retry-with-feedback (commit d4fcb42)

Il sistema accetta 1 retry con error feedback. Nel run v5 il retry non è mai stato usato (zero retry per parse, dato il 100% di success). Il retry rimane comunque architetturalmente presente per Phase 2 / casi edge.

---

5. Costi reali vs preventivo

5.1 Breakdown costi LLM v5

Tier	Calls	Input tokens	Output tokens	Cost USD
C (qwen3-235b)	113	112369	60060	$0.069

5.2 Costo cumulativo Phase 1 (5 run, inclusi bug-fix iterations)

Run	Cost	Note
v1 (aborted)	$0.034	67% parse_error, max_dd bug
v2 (aborted)	$0.018	macd 3 args, OHLCV cap discovery
v3 (aborted)	$0.015	crash su indicator arity
v4 (completed FAIL)	$0.057	36% parse, fitness tutti 0
v5 (completed PASS)	$0.069	tutti gate passati
Totale Phase 1	$0.193	—

5.3 Confronto con preventivo

• Preventivo originale (basato su pricing Anthropic Sonnet): $500-700.
• Spesa reale Phase 1 totale: $0.19.
• Deviazione: −99.97%.

La differenza non è dovuta a underuse — il run v5 ha fatto 113 chiamate LLM = full saturazione del budget previsto di calls. È un cambio di ordine di grandezza nei prezzi dovuto al pricing aggressivo di OpenRouter per modelli open-weights (qwen3-235b è 7.5x più economico di Sonnet su input, 37x su output). Il preventivo originale era calibrato su Sonnet 4.6.

5.4 Implicazioni per Phase 2

Il margine economico permette di pianificare Phase 2 con maggiore aggressività senza superare il cap ($700-1100):

• K=40 (×2), gen=15 (×1.5), tier mix 30% B / 70% C, ablation runs multiple.
• Estrapolazione lineare conservativa: $0.07 × 2 × 1.5 × ~3 (tier B factor) × 5 (ablation) = ~$3 totali. Possibile spingere a $30-50 senza preoccupazioni se serve per ablation più ricche.

Rischio cost-trap inverso: tentazione di sovra-dimensionare Phase 2 perché "tanto costa nulla". Mantenere disciplina budget invariata — investire i $700 cap in PIÙ ablation, non in run più grandi.

---

6. Diversity metrics

6.1 Entropy fitness per generazione

Vedi tabella sez. 2.1 colonna entropy. Mai sotto 0.5, picco a gen 4 (1.415).

6.2 Cognitive style sopravvissuti gen 9

Stile	Count gen 9	Avg fitness	Note
engineer	3	0.0	Dominante numericamente ma fitness 0 (genomi recent, non valutati su elite)
physicist	1	0.0598	Solo presente nel top-K
historian	1	0.0002	—
biologist	0	—	Estinto
meteorologist	0	—	Estinto
ecologist	0	—	Estinto

Lettura: pressione selettiva ha eliminato 3 di 6 stili cognitivi alla generazione finale. Engineer è dominante numericamente, physicist domina nel valore (l'unico con fitness >0 della popolazione "live" gen 9). Phase 2 deve introdurre speciation esplicita per evitare questo collasso (minimum 2-3 specie protette).

6.3 Trade distribution sui 98 evals

Categoria	n	%
Zero trade (HIGH no_trades, kill)	42	42.9%
Undertrading (1-4 trade, MEDIUM)	5	5.1%
Normal (5-100 trade)	9	9.2%
Overtrading (>100 trade, NON flaggato)	42	42.9%

Issue identificato: il 42.9% di overtrading non viene catturato dall'Adversarial perché la soglia attuale è n_trades > n_bars/5 = 3509 — troppo alta per essere triggerata su 1000-2000 trade. Phase 2 dovrebbe abbassare a n_bars/20 = 877 o usare metrica relativa al regime.

6.4 Adversarial findings totali

Finding	Severity	Count
no_trades	HIGH	42
undertrading	MEDIUM	5

Niente degenerate né overtrading flaggato. Il primo è raro (richiede strategia sempre-LONG o sempre-SHORT puro), il secondo soffre della soglia troppo alta.

---

7. Threats to validity

Lista esplicita dei limiti metodologici da non sovra-interpretare:

1. In-sample fitting: tutto il backtest è in-sample. Il top-1 ha Sharpe 0.38 ottenuto guardando i dati su cui è stato selezionato. Phase 2 (walk-forward + hold-out Q1-Q2 2026 intoccabile) misura overfitting reale.
2. Tier C unico: nessun confronto contro tier B/S. Possibile underperformance del LLM economico vs Sonnet/Opus. Phase 2 introduce ablation multi-tier.
3. Adversarial hand-crafted: 4 check euristici (no_trades, degenerate, overtrading, undertrading). Phase 2 introduce 5 prompt LLM-driven dedicati (data snooping, lookahead, regime fragility, crowding, transaction cost erosion).
4. Fitness function v1: lineare in DSR + tanh(Sharpe) normalizzato + drawdown moltiplicativa. Non multi-livello (per-team, anti-collusion). Phase 2 introduce.
5. No speciation, no novelty bonus: cognitive style scendono da 6 a 3 a gen 9. Phase 2 deve mitigare.
6. DSR del top-1 = 0.0021: il "successo" del Gate 3 è guidato da Sharpe (positivo modesto), non da significatività statistica vera. Senza walk-forward + multiple testing rigoroso, non si può affermare alpha edge.
7. Top-3/4/5 sono "lucky shot" 1-trade: la fitness function continua li promuove perché drawdown bassissimo + sharpe leggermente negativo, ma sono artefatti. Phase 2 promuove undertrading a HIGH se n_trades < 10.
8. Cerbero/Deribit data quality: nessuna detection di gap, outlier, exchange downtime. Da affrontare prima di forward-test (Phase 3).
9. Cost predictability inverso: Phase 2 deve resistere alla tentazione di sovra-dimensionare perché Phase 1 è costata $0.19.

---

8. Conclusioni e implicazioni per Phase 2

Hard gate sintesi: ✅ 5 su 5 passati.

Decisione finale: GO Phase 2 (formalizzata nel decision memo).

Apprendimenti chiave per Phase 2:

1. JSON >> S-expression per grammar LLM-generated. Phase 2 non rivisita.
2. Fitness continua è essenziale per dare gradient al GA, ma può promuovere strategie degeneri (1-trade) che vanno killate diversamente.
3. OpenRouter qwen3-235b è sorprendentemente capace per generare strategie strutturate, dato un prompt schema-rigoroso. Tier B (Sonnet) potrebbe non essere necessario al 30% come pianificato; ablation Phase 2 misurerà il vero contributo.
4. Cerbero MCP come single source of truth funziona: paginazione, cache parquet, audit log integrati senza fragility.
5. Bug-fix discovery via run reale è efficiente: 4 cicli, ognuno ha esposto un problema specifico (max_dd math, macd arity, validator arity, fitness clamp, grammar choice). Phase 2 può aspettarsi pattern simile per nuove componenti (speciation edge cases, OOS overfitting, multi-tier dispatch).

Riusabilità del codebase Phase 1: il design modulare (data, backtest, metrics, cerbero, protocol, genome, llm, agents, ga, persistence, orchestrator, dashboard) è riusabile direttamente. Estensioni Phase 2:

• ga/speciation.py (nuovo) — clustering cosine similarity prompt, quota tournament per specie.
• ga/fitness.py — versione v2 con novelty bonus + per-team aggregation.
• orchestrator/run.py — integrazione walk-forward.
• agents/adversarial_llm.py (nuovo) — 5 prompt LLM-driven.
• baseline/random_forest.py (nuovo) — RF baseline per benchmark.

Costo stimato Phase 2: $3-15 (estrapolazione molto conservativa). Cap rimane $700-1100 invariato per disciplina.

Tempo stimato Phase 2: 4-6 settimane di lavoro calendar, includendo i 3 aggiustamenti del decision memo (Adversarial soglie, speciation, walk-forward).

---

Documento finalizzato 10 maggio 2026. Versione 1.0.