Multi_Swarm_Coevolutive/docs/reports/2026-05-10-phase1-technical-report.md

# Phase 1 Lean Spike — Rapporto Tecnico

**Autore**: Adriano Dal Pastro
**Data**: 10 maggio 2026
**Versione**: 1.0 (TEMPLATE — popolare con dati a chiusura run)
**Status**: in attesa risultati run reale (`phase1-real-001` in corso)

**Documenti correlati**:
- `docs/superpowers/specs/2026-05-09-decisione-strategica-design.md` (decisione strategica)
- `docs/superpowers/plans/2026-05-09-phase1-lean-spike.md` (piano implementativo)
- `docs/decisions/2026-05-10-gate-phase1.md` (decision memo gate)

---

## 1. Setup sperimentale

**Obiettivo della Phase 1 lean spike**: dimostrare che il loop tecnico funziona end-to-end. Non è una valutazione dell'edge alpha, è una validazione di fattibilità. I cinque hard gate dello spec sez. 4.4 misurano se il sistema gira come progettato e se l'output LLM è formalizzabile, non se le strategie generate sarebbero profittevoli.

### 1.1 Configurazione del run

| Parametro | Valore |
|---|---|
| Population size (K) | 20 |
| Generazioni | 10 |
| Elite k | 2 |
| Tournament k | 3 |
| Crossover probability | 0.5 |
| Random seed | 42 |
| Symbol | BTC-PERPETUAL (Deribit) |
| Timeframe | 1h |
| Range storico | 2024-01-01 → 2026-01-01 (2 anni) |
| Fees backtest | 5 basis points |
| n_trials_dsr | 50 |
| Tier LLM dominante | C (qwen3-235b-a22b-2507 via OpenRouter) |
| Cerbero MCP endpoint | http://localhost:9001 (locale) |

### 1.2 Stack tecnologico

Python 3.13, uv, pytest+pytest-mock+responses, sqlmodel/sqlite per persistence, sexpdata per parsing, pandas+numpy+scipy per analytics, openai SDK con base URL OpenRouter, tenacity per retry transient, streamlit+plotly per dashboard.

### 1.3 Architettura del run

L'orchestrator (`src/multi_swarm/orchestrator/run.py`) coordina la pipeline end-to-end: caricamento OHLCV via `CerberoOHLCVLoader` (cache parquet), costruzione market summary, popolazione iniziale di K=20 genomi diversificati per cognitive_style (6 stili: physicist, biologist, historian, meteorologist, ecologist, engineer), e per ogni generazione il loop hypothesis (LLM call, parse S-expression) → falsification (compile, backtest, DSR) → adversarial (heuristic checks) → fitness (DSR − dd_penalty * max_dd, kill su HIGH adversarial finding) → next_generation (elitism + tournament + crossover/mutation). Tutti gli stati sono persistiti su SQLite (`runs.db`) con indici su fitness desc per query rapide della dashboard.

### 1.4 Caveat metodologici

- **In-sample**: il backtest in Phase 1 lean spike non usa walk-forward; tutto il range 2024-2026 viene usato sia per la generazione delle ipotesi sia per la loro valutazione. La sopravvivenza out-of-sample è esplicitamente fuori scope di Phase 1 (gate Phase 2 #2).
- **Compiler con indicatori built-in**: il compiler S-expression (`src/multi_swarm/protocol/compiler.py`) calcola RSI, SMA, ATR, MACD, realized_vol localmente con pandas. `CerberoTools` è plumbed ma non chiamato durante l'esecuzione delle strategie — è disponibile come tool per agenti future-tense ma il fitness in Phase 1 dipende solo dagli indicatori locali.
- **Mock RSI epsilon**: il compiler ha un epsilon-floor su `roll_down` per evitare RSI = 100 esatto su serie monotonicamente crescenti (artefatto matematico irrilevante su dati reali ma documentato).

---

## 2. Loop convergence

**Domanda gate 1**: la popolazione converge nel tempo?

### 2.1 Fitness per generazione

| Gen | Median | Max | P90 | Entropy |
|---|---|---|---|---|
| 0 | TBD | TBD | TBD | TBD |
| 1 | TBD | TBD | TBD | TBD |
| 2 | TBD | TBD | TBD | TBD |
| 3 | TBD | TBD | TBD | TBD |
| 4 | TBD | TBD | TBD | TBD |
| 5 | TBD | TBD | TBD | TBD |
| 6 | TBD | TBD | TBD | TBD |
| 7 | TBD | TBD | TBD | TBD |
| 8 | TBD | TBD | TBD | TBD |
| 9 | TBD | TBD | TBD | TBD |

### 2.2 Plot

*(Inserire screenshot dashboard — pagina GA Convergence — `docs/reports/figures/phase1/ga-convergence.png`)*

### 2.3 Osservazioni

- Generazioni di crescita consecutiva mediana: TBD.
- Plateau osservato a partire dalla generazione: TBD.
- Entropy a fine run: TBD (gate threshold 0.5).

---

## 3. Top-5 genomi: ispezione qualitativa

**Domanda gate 3**: il tail superiore della popolazione esiste e separa segnale da rumore?

| Rank | Genome ID (short) | Fitness | DSR | Sharpe | Max DD | Trades | Cognitive style | Tier |
|---|---|---|---|---|---|---|---|---|
| 1 | TBD | TBD | TBD | TBD | TBD | TBD | TBD | TBD |
| 2 | TBD | TBD | TBD | TBD | TBD | TBD | TBD | TBD |
| 3 | TBD | TBD | TBD | TBD | TBD | TBD | TBD | TBD |
| 4 | TBD | TBD | TBD | TBD | TBD | TBD | TBD | TBD |
| 5 | TBD | TBD | TBD | TBD | TBD | TBD | TBD | TBD |

### 3.1 Strategie selezionate

Per ognuno dei top-5, riportare la S-expression generata e una lettura qualitativa: il pattern catturato è economicamente plausibile (es. mean reversion, momentum di breakout, condizione di stress) o è un'iperparametrizzazione casuale del backtest?

**Top-1**: TBD.
**Top-2**: TBD.
**Top-3**: TBD.
**Top-4**: TBD.
**Top-5**: TBD.

### 3.2 Ratio top-5 / median

Median DSR popolazione: TBD. Mediana DSR top-5: TBD. Ratio: TBD (gate 1.5x).

---

## 4. Parser failure modes

**Domanda gate 2**: l'output LLM è strutturalmente affidabile?

### 4.1 Statistiche aggregate

- Evaluations totali: TBD
- Parse success: TBD (TBD%)
- Parse failure: TBD (TBD%)

### 4.2 Tassonomia degli errori

Per ognuna delle classi sotto, riportare frequenza assoluta e relativa:

- **No s-expression found in output**: TBD. Causa tipica: l'LLM ha restituito prosa senza fence o senza `(strategy ...)` esplicito.
- **sexp parse error**: TBD. Causa tipica: parentesi sbilanciate, syntax non valida.
- **Unknown verb**: TBD. Causa tipica: LLM ha inventato verbi non in `VERBS`.
- **Validation error (unknown indicator/feature)**: TBD. Causa tipica: LLM ha usato indicatori non presenti in `KNOWN_INDICATORS`.
- **Validation error (wrong arity)**: TBD. Causa tipica: numero argomenti errato per verbi specifici.

### 4.3 Failure mode più frequente — analisi qualitativa

Esempio di output LLM che ha causato il failure dominante: TBD.

Suggerimenti per Phase 2 (es. arricchire il prompt con esempi negativi, validare con DSPy o restrict to JSON instead of S-expression): TBD.

---

## 5. Costi reali vs preventivo

**Domanda gate 5**: la spesa è prevedibile?

### 5.1 Breakdown costi LLM

| Tier | Calls | Input tokens | Output tokens | Cost USD |
|---|---|---|---|---|
| C | TBD | TBD | TBD | TBD |
| Altri | TBD | TBD | TBD | TBD |
| **Totale** | TBD | TBD | TBD | **TBD** |

### 5.2 Ablation tier (se eseguito)

Phase 1 lean spike usa solo tier C. Ablation B vs C rinviata a Phase 2 (spec sez. 5.1).

### 5.3 Confronto con preventivo

- Preventivo: $500-700 (mid $600).
- Spesa reale: $TBD.
- Deviazione: TBD%.
- Tokens medi per call: TBD input, TBD output.

### 5.4 Estrapolazione costi Phase 2

Phase 2 prevede K=40 (× 2x), 15 generazioni (× 1.5x) e tier mix (~30% B, 10x più caro). Estrapolazione lineare: TBD × 2 × 1.5 × ~3 = $TBD. Confronto con cap Phase 2 ($700-1100): rientrano.

---

## 6. Diversity metrics

**Domanda gate 4**: la diversità cognitiva sopravvive alla pressione selettiva?

### 6.1 Entropy fitness per generazione

(Vedi tabella sez. 2.1 colonna entropy.)

### 6.2 Cognitive style sopravvissuti

| Stile | Gen 0 (count) | Gen finale (count) |
|---|---|---|
| physicist | TBD | TBD |
| biologist | TBD | TBD |
| historian | TBD | TBD |
| meteorologist | TBD | TBD |
| ecologist | TBD | TBD |
| engineer | TBD | TBD |

### 6.3 Signal correlation fra top-5

Phase 1 non implementa speciation né novelty bonus, quindi è plausibile vedere alta correlazione fra i top performer. Misura indicativa (Pearson correlation fra signal series dei top-5 sull'OOS): TBD. Se ρ > 0.7, top-5 sono cloni leggeri — implicazione architetturale per Phase 2 (necessità di novelty bonus o speciation).

---

## 7. Threats to validity

Lista esplicita dei limiti metodologici e dei rischi di sovra-interpretare i risultati:

1. **In-sample fitting**: tutto il backtest è sullo stesso range usato per generare le ipotesi. Phase 2 introduce walk-forward + hold-out finale per misurare overfitting.
2. **Mock LLM-driven exploration con tier C unico**: nessun confronto contro tier B / S. Possibile underperformance vs Sonnet/Opus che potrebbero generare strategie qualitativamente diverse.
3. **Adversarial layer hand-crafted**: i 4 check (no_trades, degenerate, overtrading, undertrading) sono euristici. Phase 2 introduce 5 prompt LLM-driven dedicati (data snooping, lookahead, regime fragility, crowding, transaction cost erosion).
4. **Fitness function v0**: lineare in DSR + drawdown penalty. Non multi-livello (per-team, anti-collusion). Phase 2 introduce.
5. **No speciation, no novelty bonus**: convergenza prematura plausibile. Documentata nello spec sez. 8.4.
6. **Cerbero/Deribit data quality**: nessuna detection di gap, outlier, exchange downtime. Da affrontare prima di forward-test (Phase 3).
7. **Costi LLM volatili**: pricing OpenRouter per qwen3 può variare. Stima Phase 2 può cambiare significativamente.

---

## 8. Conclusioni e implicazioni per Phase 2

**Hard gate sintesi**: TBD su 5 passati.

**Decisione preliminare**: rimandato al `docs/decisions/2026-05-10-gate-phase1.md` (decision memo).

**Apprendimenti chiave per Phase 2** (popolare a chiusura):

- TBD.

**Riusabilità del codebase Phase 1**: il design modulare (data, backtest, metrics, cerbero, protocol, genome, llm, agents, ga, persistence, orchestrator, dashboard) è riutilizzabile direttamente in Phase 2. Estensioni richieste: speciation in `ga/`, novelty bonus in `ga/fitness.py`, walk-forward integration in `orchestrator/run.py`, Adversarial LLM-driven in `agents/adversarial.py`, Random Forest baseline in nuovo modulo `baseline/`.

---

*Documento da finalizzare a fine Phase 1. Versione 1.0 — template; popolare con i numeri reali da `runs.db` e screenshot della dashboard.*