docs(diary): incident 2026-07-09 — "BOOK LIVE conto offline" = cert Traefik di default

Traefik auto-upgrade (latest+Watchtower -> 3.7.7) ha scartato il resolver ACME
per acme.json a 660 (3.x pretende 600) -> cert self-signed su tutto il VPS ->
DeribitRead SSLError -> book online=False. Zero trade persi (target flat, gate
di sicurezza OK). Fix: chmod 600 acme.json + restart; pin traefik:3.7 nel compose.
Diario con diagnosi, verifica end-to-end e runbook.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

.dockerignore

@@ -0,0 +1,11 @@
+Old/
+data/
+.venv/
+.git/
+logs/
+__pycache__/
+**/__pycache__/
+*.pyc
+.env
+.env.mainnet
+docs/

.env.ibgw.example

@@ -0,0 +1,7 @@
+# Credenziali IB Gateway PAPER per la ricerca dati (account paper, es. DUQ513966).
+# COPIA questo file in  .env.ibgw  (gitignored) e riempi i valori REALI.
+#   cp .env.ibgw.example .env.ibgw && chmod 600 .env.ibgw && nano .env.ibgw
+# NON committare mai .env.ibgw. Sono credenziali del CONTO PAPER (nessun denaro reale),
+# l'API e' comunque READ_ONLY (solo dati storici, nessun ordine).
+TWS_USERID=il_tuo_username_paper
+TWS_PASSWORD=la_tua_password_paper

.gitignore

@@ -6,6 +6,8 @@ build/
 .venv/
 .env
 !.env.example
+.env.ibgw
+!.env.ibgw.example
 .vscode/
 .idea/
 .DS_Store
@@ -39,3 +41,29 @@ data/_reset_backup/
 # game artifacts (log/json di scripts/games e gate)
 data/games/
 .env.mainnet
+
+# archived data (mirrors top-level data/ ignores, which are top-level-anchored)
+Old/data/
+Old/**/__pycache__/
+# run logs (rigenerabili dagli script)
+logs/
+
+# cache della ricerca trackE (rigenerabile)
+.cache_trackE_*.npy
+
+# feed backup pre-rebuild (binari rigenerabili, NON in git) + stato paper trader (runtime)
+data/_feed_backup/
+data/paper_trend/
+data/paper_portfolio/
+
+# output grezzo dello sweep di ricerca xsec (rigenerabile dagli script in runs/)
+scripts/research/xsec/runs/out/
+
+# blind-signal derived data (regenerable via make_blind.py)
+data/blind/
+scripts/research/blind/leaderboard.json
+
+# forward-monitor runtime state (regenerable, forward-only)
+data/paper_prevday/
+data/paper_combo/
+data/paper_statarb/

Dockerfile

@@ -1,18 +1,11 @@
 FROM python:3.11-slim
-
 COPY --from=ghcr.io/astral-sh/uv:latest /uv /usr/local/bin/uv
-
 WORKDIR /app
-
 COPY pyproject.toml uv.lock ./
 RUN uv sync --frozen --no-dev
-
 COPY src/ src/
 COPY scripts/ scripts/
-COPY strategies.yml portfolios.yml VERSION ./
-
+COPY VERSION ./
 VOLUME /app/data
-
-# Default: paper trader multi-strategia. Il servizio "portfolio" in docker-compose
-# sovrascrive il command per il runner a portafoglio (src.portfolio.runner).
-CMD ["uv", "run", "python", "-m", "src.live.multi_runner"]
+# Monitor PAPER del portafoglio attivo (TP01+XS01). Esecuzione REALE disabilitata.
+CMD ["uv", "run", "python", "-m", "src.live.dashboard", "--port", "8787"]

Old/Dockerfile

@@ -0,0 +1,18 @@
+FROM python:3.11-slim
+
+COPY --from=ghcr.io/astral-sh/uv:latest /uv /usr/local/bin/uv
+
+WORKDIR /app
+
+COPY pyproject.toml uv.lock ./
+RUN uv sync --frozen --no-dev
+
+COPY src/ src/
+COPY scripts/ scripts/
+COPY strategies.yml portfolios.yml VERSION ./
+
+VOLUME /app/data
+
+# Default: paper trader multi-strategia. Il servizio "portfolio" in docker-compose
+# sovrascrive il command per il runner a portafoglio (src.portfolio.runner).
+CMD ["uv", "run", "python", "-m", "src.live.multi_runner"]

Old/docker-compose.yml

@@ -0,0 +1,49 @@
+services:
+  portfolio:
+    build: .
+    container_name: pythagoras-portfolio
+    restart: unless-stopped
+    command: ["uv", "run", "python", "-m", "src.portfolio.runner"]
+    volumes:
+      - ./data:/app/data
+      - ./portfolios.yml:/app/portfolios.yml:ro
+    env_file:
+      - .env
+      - .env.mainnet        # token MAINNET (soldi veri); prevale su .env (vedi micro-test plan)
+    environment:
+      - PYTHONUNBUFFERED=1
+    healthcheck:
+      test: ["CMD", "python", "-c", "import os; assert any(f.endswith('status.json') for r,d,fs in os.walk('/app/data/portfolios') for f in fs)"]
+      interval: 120s
+      timeout: 10s
+      retries: 3
+    labels:
+      - com.centurylinklabs.watchtower.enable=false
+
+  # Dashboard web read-only (stato live, PnL totale/per-strategia, grafico equity,
+  # trade attivi+chiusi). Stessa immagine del runner, monta gli stessi data/ in sola
+  # lettura logica (legge equity.jsonl + status/trades dei worker). Porta 8787.
+  # NB: nessuna auth -> non esporre su internet pubblico, solo rete interna/VPN.
+  dashboard:
+    build: .
+    container_name: pythagoras-dashboard
+    restart: unless-stopped
+    command: ["uv", "run", "python", "-m", "src.live.dashboard", "--port", "8787"]
+    ports:
+      - "8787:8787"
+    volumes:
+      - ./data:/app/data
+      - ./portfolios.yml:/app/portfolios.yml:ro
+      - ./docs/report:/app/docs/report:ro   # scheda strategie_attive.html (modal "scheda dettagliata")
+    env_file:
+      - .env
+      - .env.mainnet        # token MAINNET (soldi veri); prevale su .env (vedi micro-test plan)
+    environment:
+      - PYTHONUNBUFFERED=1
+    healthcheck:
+      test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8787/api/state', timeout=5)"]
+      interval: 120s
+      timeout: 10s
+      retries: 3
+    labels:
+      - com.centurylinklabs.watchtower.enable=false

Old/docs/diary/2026-06-18-price-ladder-search.md

@@ -0,0 +1,265 @@
+# 2026-06-18 — Price Ladder (griglia) vs gate PORT06
+
+**Branch:** `price_ladder_research` · **Harness:** `scripts/analysis/ladder_search.py`
+(engine `grid_mtm`: mark-to-market onesto, SL gap-aware, flat-skip, fee 0.10% RT taker).
+**Baseline PORT06:** FULL Sharpe 8.13 / DD 2.47% — OOS Sharpe 10.86 / DD 2.09%.
+**Metodo:** caccia multi-agente su asset × TF (15m/30m/1h) × regime-gate (none / range
+trend_max 1.5/2.0/2.5), poi `verify` avversariale sui finalisti (plateau, fee 2x, corr,
+FULL DD di portafoglio). **Goal di progetto:** trovare un Price Ladder che *diversifichi*
+(PASSI il gate) senza accendere la coda di trend.
+
+---
+
+## 1. Cosa era già noto
+
+Il gioco-griglia precedente aveva trovato una **griglia ETH fortissima standalone**
+(Sharpe ~5.61) ma **BOCCIATA al gate PORT06**: corr ~0.40 con le fade ETH già deployate
+→ **ridondante**, non un diversificatore. La lezione: lo standalone Sharpe non basta, conta
+quanto il ladder *aggiunge ortogonalmente* al portafoglio. Questa ricerca cerca proprio un
+ladder che PASSI il gate = che abbia corr bassa con gli sleeve esistenti.
+
+---
+
+## 2. Risultato NUOVO — i ladder PASSANO il gate
+
+Sì. Su **tutti gli asset liquidi** (BTC e ETH) e su quasi tutte le combinazioni TF×regime,
+i ladder migliorano l'OOS Sharpe di portafoglio (10.86 → ~11.0–11.35) **con corr bassa**:
+
+- **BTC** (15m/30m/1h, range o none): corr **0.15–0.27**, molto più ortogonale della
+  griglia ETH bocciata (0.40). OOS di portafoglio 11.1–11.35 (il guadagno OOS più grosso).
+- **ETH** (15m/30m/1h): corr **0.21–0.57** (15m la peggiore, fino a 0.57; a 1h scende a
+  0.22–0.39). OOS di portafoglio ~10.9–11.1.
+- **SOL/LTC**: SOL passa solo 2 celle, half-only, edge standalone quasi nullo
+  (full_sh ~0.2); **LTC è negativo ovunque** (full_sh −0.4…−0.8, bocciato) → solo BTC/ETH
+  liquidi danno un ladder vivo, come atteso.
+
+Il gate **misura corr + OOS**, e su questi due assi i ladder BTC vincono nettamente.
+
+### Migliori candidati (dai `verify` avversariali)
+
+| Asset/TF/regime/struttura | OOS base→new | FULL DD standalone | FULL DD portafoglio (full / half) | corr | fee2x OOS | robust? |
+|---|---|---|---|---|---|---|
+| **ETH 1h range2 rd0.16 ru0.04 L4** | 10.86→**11.00** | 11.79% | **2.70** / 2.52 | 0.305 | 4.89 | ✅ sì |
+| **ETH 1h range2 rd0.16 ru0.06 L6** | 10.86→11.01 | 12.09% | 2.74 / 2.54 | 0.328 (al filo) | 5.05 | ✅ sì |
+| **ETH 1h range2 rd0.16 ru0.06 L4** | 10.86→10.98 | 12.64% | **2.68** / 2.51 | 0.249 | 4.44 | ✅ sì |
+| **ETH 30m range2 rd0.16 ru0.04 L3** | 10.86→10.93 | 12.56% | **2.48** / 2.41 | 0.223 | 4.21 | ✅ sì |
+| **ETH 1h none rd0.20 ru0.06 L6** | 10.86→11.03 | 17.89% | 2.59 / 2.46 | 0.271 | 5.43 | ✅ sì |
+| **ETH 30m none rd0.16 ru0.06 L4** | 10.86→10.92 | 18.68% | **2.37** / 2.35 | 0.319 | 5.42 | ✅ sì |
+| **ETH 1h none rd0.16 ru0.06 L4** | 10.86→10.96 | 23.13% | **2.40** / 2.37 | 0.224 | 4.59 | ✅ sì |
+| **BTC 1h none rd0.08 ru0.06 L3** | 10.86→**11.34** | **53.69%** | 3.11 / **2.48** | 0.216 | 5.78 | ⚠ half-only |
+| **BTC 30m range2.5 rd0.08 ru0.06 L3** | 10.86→11.22 | 55.33% | 3.27 / **2.50** | 0.265 | 5.19 | ⚠ half-only |
+| **BTC 30m none rd0.08 ru0.06 L3** | 10.86→11.32 | 55.33% | 3.27 / **2.44** | 0.220 | 5.37 | ⚠ half-only (tail) |
+| **BTC 1h range1.5 rd0.20 ru0.06 L6** | 10.86→11.13 | 54.43% | 3.19 / **2.33** | **0.161** | 5.46 | ⚠ half-only (tail) |
+
+`rd` = spacing down, `ru` = spacing up, `L` = livelli. Tutti i finalisti hanno plateau
+robusto (4–7 vicini di struttura restano PROMOSSO) e fee2x ~= OOS standalone.
+
+---
+
+## 3. IL NODO — la FULL DD (che il gate IGNORA)
+
+**Il gate verdict NON guarda la FULL DD.** Misura solo corr + OOS Sharpe/DD. Una griglia
+long-only ha una coda di trend 2021/22 (viene comprata fino in fondo mentre il prezzo crolla
+in un trend persistente) → la **FULL DD standalone** è il vero rischio nascosto. Il filtro
+onesto è la **FULL DD di PORTAFOGLIO** (`full_full_dd` / `half_full_dd`), con soglia di
+tail-risk **~+0.8pp sopra il baseline 2.47%** (cioè restare sotto ~3.3%).
+
+Due famiglie nette emergono:
+
+- **BTC** — FULL DD standalone **~54–67%** (la coda long-only è devastante, come temuto).
+  Il regime-gate range *taglia gli ingressi nei trend* ma **non immunizza** dalle posizioni
+  già aperte → a FULL size la FULL DD di portafoglio sale a **3.1–6.6%** (+0.6/+4.0pp,
+  **oltre la soglia tail** in quasi tutte le celle). **A HALF size invece rientra a 2.33–2.54%**
+  (~baseline) preservando l'OOS ~11.0–11.3. → **BTC deployabile SOLO a half-size**, e il
+  guadagno OOS più grosso (11.3+) viene proprio da queste celle a coda alta.
+
+- **ETH** — FULL DD standalone **molto più bassa** del previsto: **12–33%** (1h range scende
+  a **~12%**), NON il ~60% temuto. Lo SL-buffer + flat-skip + il regime-gate range tengono la
+  griglia fuori dai trend estesi. Conseguenza: la FULL DD di portafoglio resta **2.37–2.74%**
+  (+0.0/+0.27pp, **sotto soglia anche a FULL size**) — in diversi casi *scende* sotto il
+  baseline (es. ETH 30m none L4 → 2.37%). → **ETH è la famiglia tail-safe.** Il prezzo è una
+  corr più alta (0.22–0.33 sui finalisti 1h/30m, fino a 0.57 sul 15m da scartare).
+
+**Lettura chiave:** il regime-gate *abbassa* la FULL DD ma su BTC **non a sufficienza** a
+full size (la coda 54% è troppo grande); è l'**half-size** a fare il lavoro. Su ETH la coda
+è già piccola e il portafoglio l'assorbe. Quindi il discriminante reale è **asset (ETH vs
+BTC) + size**, non solo il regime-gate.
+
+---
+
+## 4. Vantaggio Deribit — fill MAKER
+
+Un Price Ladder è una griglia di **ordini LIMIT ai livelli** → su Deribit i fill sono
+**MAKER (~0% fee)**, non taker. L'harness assume **0.10% RT taker** ovunque → è
+**CONSERVATIVA**: la stessa griglia live pagherebbe meno fee e potrebbe rendere PIÙ del
+backtest. Lo confermano i `verify`: il **fee2x** (raddoppio fee) lascia l'OOS Sharpe quasi
+intatto (~98% trattenuto su quasi tutti i finalisti) → nessun fee-cliff, e con i fill maker
+reali c'è upside, non downside, sul lato costi. (Il rischio resta la coda di trend e lo
+slippage/fill in esecuzione reale, non le fee.)
+
+---
+
+## 5. Verdetto operativo
+
+**C'è un Price Ladder deployabile.** Il candidato più pulito su tutti gli assi
+(PROMOSSO + FULL DD di portafoglio controllata a full size + plateau robusto + corr genuina):
+
+> **ETH 1h, regime=range trend_max 2.0, rd=0.16 / ru=0.04 / 4 livelli, sl_buf 0.12 / tp_buf 0.05, max_bars 720.**
+> OOS 10.86→11.00, FULL DD portafoglio **2.70% a full / 2.52% a half** (standalone 11.79%),
+> corr 0.305, fee2x OOS 4.89, plateau 4 vicini PROMOSSO. **Deploy raccomandato a HALF size**
+> (FULL DD +0.05pp, marginale; il caveat slippage live giustifica la prudenza).
+
+**Alternative ETH equivalenti** (stessa banda di sicurezza, scegliere per corr/coda):
+`ETH 1h range2 rd0.16 ru0.06 L4` (corr 0.249, la più bassa) e `ETH 30m range2 rd0.16 ru0.04 L3`
+(FULL DD portafoglio 2.48, ~baseline). Tutte ETH 1h/30m **range-gated rd≥0.16** → NON scendere
+sotto rd 0.16 (rd 0.12 fa risalire la corr verso 0.38 = ricomincia a somigliare alle fade ETH;
+il 15m ha corr 0.43–0.57 = troppo ridondante, scartare).
+
+**I BTC NON a full size.** Danno il guadagno OOS più grande (fino a 11.34) e la corr più bassa
+(0.16–0.22 = la diversificazione migliore), MA la FULL DD standalone ~54% li rende
+**tail-risky a full size** (FULL DD portafoglio 3.1–6.6%, oltre soglia). **Deployabili SOLO a
+half-size** (FULL DD portafoglio 2.33–2.50), dove restano un diversificatore eccellente. Il
+migliore BTC half-size è `BTC 1h range1.5 rd0.20 ru0.06 L6` (corr **0.161**, FULL DD portafoglio
+half **2.33**).
+
+**BLOCCO prima di qualsiasi deploy:** il gate PORT06 (corr + OOS) è **necessario ma non
+sufficiente** — non controlla la FULL DD, e l'OOS held-out è un **regime calmo** (2024–25). La
+coda di trend 2021/22 è reale e standalone è enorme su BTC. **Nessun deploy senza un gate
+stressato sul 2022** (verificare la FULL DD di portafoglio attraverso il trend duro, non solo
+l'OOS calmo) e una conferma su **ledger reale shadow** per slippage/fill maker. Il verdetto del
+gate va sempre incrociato con la FULL DD di portafoglio (filtro vero) + fattibilità feed live +
+regime recente — la stessa lezione del timing-sweep pairs/honest (2026-06-14).
+
+**Sintesi:** ETH 1h/30m range-gated rd≥0.16 a half-size è il **deploy-candidate sano e
+tail-safe**; BTC è il diversificatore migliore ma **solo a half-size** per la coda di trend.
+Prossimo passo obbligatorio: stress-test 2022 + shadow ledger reale (i fill maker possono solo
+migliorare il risultato sul lato fee).
+
+---
+
+## 6. ⚠️ RETTIFICA CRITICA — il verdetto §5 è ROVESCIATO (critico + verifica dati)
+
+Il critico di completezza + una verifica diretta dei dati **ribaltano la raccomandazione di
+deploy della §5**. Messo a verbale: la §5 è SUPERATA da quanto segue.
+
+**(1) I risultati BTC poggiano su DATI CORROTTI (spike-print), verificato.** La "coda di trend
+BTC ~54%" su cui ruota la §3 NON è un crollo di mercato: è **feed sporco**. Misurato su `btc_1h`:
+**37 barre con range intrabar >20%**, concentrate a **feb-2024** (es. 2024-02-13: low=38.580 con
+close~49.968 = wick fasullo −23% che rimbalza nella stessa barra), con min 22.706 / max 104.688 in
+un trimestre dove BTC stava ~47–57k. È lo **stesso spike-print testnet documentato ovunque in
+CLAUDE.md** (TP_PHANTOM / feed congelato). L'engine SL-gap-aware filla su questi wick fantasma e la
+griglia "compra" i dip fasulli → la coda BTC ~54% e parte dell'edge OOS sono **artefatto, non
+mercato**. Conseguenza: i candidati BTC NON sono affidabili, e lo "stress 2022" proposto NON
+toccherebbe la coda vera (che è a feb-2024, da dati sporchi). Serve `close_only` + pulizia feed.
+
+**(2) Il guadagno OOS è RUMORE al peso deployabile.** +0.14 OOS Sharpe su base 10.86, con il ladder
+che pesa **~5.3% full / ~2.7% half** in un portafoglio già a Sharpe ~11, su **592 giorni di un
+solo regime calmo** (2024-10→2026-05, niente 2022). Nessun test di significatività
+(block-bootstrap). A half-size il contributo è quasi inerte (a volte l'OOS DD *migliora*): è dentro
+l'errore di campionamento, non un edge dimostrato.
+
+**(3) La diversificazione ETH è più sottile di quanto venduto.** Il finalista ETH "raccomandato" è
+**corr 0.305** (non 0.15–0.20: quella è BTC half-only non deployabile), già vicino allo **0.40 che
+fece bocciare la griglia ETH originale**. Peggio: il `regime_mask` usa **lo stesso filtro
+trend-distance** (|close−EMA200|/ATR) delle fade ETH già live → la "diversificazione" è in parte
+illusoria (gate e sleeve condividono il filtro). La corr misurata è **daily in regime calmo**, NON
+co-tail: una griglia long-only e una fade reversion possono co-crollare in un trend (entrambe
+"comprano il calo") — la metrica che conterebbe (co-movimento nella coda) non è calcolata.
+
+**(4) La FULL DD standalone è mascherata dal compounding.** Il finalista ETH compone a **~31x
+(+3.1M%) in 5.4 anni**: una "FULL DD 11.79%" accanto a un ritorno di milioni-% è artefatto di
+notional reinvestito, e il daily-resample **nasconde l'inventory-risk intrabar** che il docstring
+di `grid_game_gate.py` (righe 5–7) avverte esplicitamente di non vedere.
+
+**(5) Stress disponibile NON usato.** `ladder_search`/`grid_mtm` hanno `close_only=True` (filla solo
+sul close, neutralizza gli spike-print): NON è stato girato sui finalisti — proprio il test che
+smonterebbe la coda BTC fasulla.
+
+### Verdetto rettificato
+
+**NON c'è un Price Ladder deployabile dimostrato.** La ricerca ha prodotto (a) una **harness onesta
+e validata** (`ladder_search.py` + regime-gate, riproduce esatto il gate noto), (b) un **risultato
+negativo/guardingo** robusto: ogni candidato o è ridondante (ETH, corr→0.40), o poggia su dati
+sporchi (BTC spike-print), o è rumore al peso deployabile. **Il multi-agente + critico ha evitato
+un deploy ingiustificato** — esattamente la lezione anti-squeeze del progetto.
+
+**Prima di riconsiderare QUALSIASI ladder servono, in ordine:** (1) **pulire il feed BTC** dagli
+spike-print + girare `close_only` sui finalisti; (2) **test di significatività** del delta OOS
+(block-bootstrap) al peso reale; (3) **co-tail / corr nei crash** (2022), non corr daily calma;
+(4) isolare e spiegare l'**evento feb-2024**. Config live **invariata**.
+
+---
+
+## 7. RE-GATE su DATI PULITI (post clean_feed.py) — quadro onesto finale
+
+Dopo `clean_feed.py` (254 spike-print riparati con Binance) ho ri-gateato i top candidati con
+le verifiche che il critico chiedeva (`ladder_regate_clean.py`): gate PORT06 + stress
+`close_only` + **DD per anno** sulla storia completa.
+
+| Candidato | DD (gate, 2021+) | OOS Sh | corr | fee2x | close_only OOS | gate½ | **DD 2018 (tail vero)** |
+|---|---:|---:|---:|---:|---:|---|---:|
+| ETH 1h rd0.16 ru0.04 L4 range2 | 12.4% | 4.70 | 0.29 | 4.62 | 0.24 | PROMOSSO | −52.4% |
+| ETH 1h rd0.16 ru0.06 L4 range2 | 12.6% | 4.25 | 0.23 | 4.17 | 0.20 | PROMOSSO | −49.9% |
+| BTC 1h rd0.08 ru0.06 L3 none | 10.8% | 5.90 | 0.24 | 5.78 | 0.60 | PROMOSSO | −50.3% |
+| **BTC 1h rd0.20 ru0.06 L6 range1.5** | 14.8% | 5.58 | 0.23 | 5.46 | 0.89 | PROMOSSO | **−27.7%** |
+| BTC 30m rd0.08 ru0.06 L3 none | 14.8% | 5.47 | 0.25 | 5.37 | 1.07 | PROMOSSO | −36.6% |
+
+**Cosa cambia coi dati puliti:**
+1. ✅ **L'obiezione "coda artefatto" CADE.** Il 54% del BTC era spike-print 2024: ora la DD del
+   gate (2021+) è **~11-15%** e tutti i candidati restano PROMOSSO a half-size, corr 0.22-0.29,
+   reggono fee2x. Sono candidati *veri*, non artefatti.
+2. 🔴 **Emerge il tail VERO: il 2018** (−44/−52% standalone), che **il gate NON VEDE** perché
+   l'IDX del progetto parte dal 2021-01-01. Una griglia long-only sarebbe stata sventrata nel
+   bear 2018 (BTC −84% sull'anno). È il nuovo rischio portante — e una **lacuna metodologica
+   generale**: tutte le metriche "FULL" del progetto escludono il 2018. Mitigante reale: il
+   **regime-gate stretto** (BTC rd0.20 L6 **range1.5**) dimezza il tail 2018 a **−27.7%** (vs
+   −50% senza gate) → il gate-di-regime fa il suo lavoro contro i bear sostenuti.
+3. 🟡 **L'edge dipende dai fill INTRABAR.** `close_only` (fill solo sul close) fa crollare l'OOS
+   (4.7→0.24 ETH, 5.9→0.6 BTC). Per ordini LIMIT i fill intrabar sono legittimi (close_only è
+   troppo severo come stress), ma il gap segnala forte **sensibilità all'ipotesi di fill** →
+   il ledger shadow reale è indispensabile prima di fidarsi.
+4. 🟡 Restano: corr 0.22-0.29 (moderata), guadagno OOS ai limiti del rumore al peso deployabile
+   (~2.7% half), OOS singolo regime calmo.
+
+**Verdetto finale (clean data):** la pulizia ha rimosso l'obiezione FALSA (coda artefatto) e
+promosso i candidati a *genuini*, ma ha anche scoperto il tail REALE (2018, gate-cieco) e
+confermato due cautele (fill intrabar, OOS rumoroso). **Il candidato più sensato è ora
+`BTC 1h rd0.20 ru0.06 L6 regime=range trend_max1.5`**: PROMOSSO, corr 0.23, e la **miglior coda
+2018 (−27.7%)** grazie al regime-gate. **Prima di QUALSIASI deploy**: (1) backtest che INCLUDA il
+2018 nel gate (non solo IDX 2021+), (2) ledger shadow reale per i fill intrabar/maker, (3) half-size.
+La pulizia del feed resta il guadagno trasversale più grande (irrobustisce ogni backtest del progetto).
+
+---
+
+## 8. I 3 PASSI PRE-DEPLOY + STUDIO SL/TP (ladder_sltp_study.py)
+
+**[1] Valutazione 2018-INCLUSIVE** (standalone, tutta la storia; il gate IDX2021+ è cieco al 2018):
+| Candidato (sl0.12/tp0.05) | full_sh | full_dd | oos_sh | DD 2018 | DD 2021 |
+|---|---:|---:|---:|---:|---:|
+| BTC 1h L6 **range1.5** | 3.18 | −27.7% | 4.95 | **−27.7%** | −14.8% |
+| BTC 1h L3 none | 2.93 | −60.2% | 5.51 | **−50.3%** | −10.8% |
+
+Il regime-gate già dimezza il tail vero (2018: −50%→−27.7%). Senza gate la griglia long-only è insostenibile (−60%).
+
+**Studio SL/TP** (sweep sl_buf × tp_buf sul candidato regime-gated, full 2018+):
+- **Sweet spot: `sl_buf=0.10, tp_buf=0.03` → DD 2018 −23.5%** (da −27.7%), oos_sh 5.06, full_sh 2.92. Migliora il tail SENZA intaccare l'edge.
+- **Lezione (conferma il prior del progetto):** un SL **troppo stretto PEGGIORA** (sl 0.06 → −33/−35%): stoppa e rideploya più in basso nel coltello che cade = la trappola del falso-negativo mean-reversion. Un SL **troppo largo** (0.20) idem (−29/−31%, oos più basso). Il bene sta in mezzo (0.10).
+- **Il SL da solo (senza regime-gate) è ERRATICO** (tabella L3 none non-monotona: −20% → −52% → −43% al variare di pochi punti): è il **regime-gate** il controllo primario della coda; il SL moderato fine-tuna. Catastrophe-control = "non deployare nel bear" (regime) + "cappa l'episodio" (SL 0.10), NON uno stop stretto.
+
+**[2] Fill maker vs taker** (Deribit: i livelli sono LIMIT → maker):
+| fee | oos_sh | DD 2018 | gate½ |
+|---|---:|---:|---|
+| taker 0.10% RT (harness) | 5.06 | −23.5% | PROMOSSO (OOS 10.86→11.0, corr 0.195) |
+| **maker 0%** (Deribit reale) | 5.18 | −22.7% | PROMOSSO (OOS→11.0, corr 0.194) |
+
+Il maker è leggermente MIGLIORE → la harness taker è conservativa, nessun fee-cliff. (La parte live = shadow ledger reale resta il passo operativo finale.)
+
+**[3] Half-size:** il gate "half" è già a metà size e PROMOSSO; la coda 2018 standalone −23.5% si dimezza sul book (~−12% in un 2018-repeat a half-size) = reale ma gestibile.
+
+### CONFIG FINALE raccomandata (con SL/TP aggiunti)
+> **BTC 1h · regime=range trend_max 1.5 · rd 0.20 / ru 0.06 / 6 livelli · sl_buf 0.10 / tp_buf 0.03 · HALF-size.**
+> - Tail 2018-inclusive: −23.5% standalone (~−12% sul book a half) — reale ma controllato dal regime-gate + SL moderato.
+> - Gate PORT06: PROMOSSO (OOS 10.86→11.0, corr 0.195); maker Deribit lo migliora; nessun fee-cliff.
+> - **Unico passo residuo: shadow ledger reale** (fill intrabar/maker su Deribit) — operativo, non backtestabile.
+
+Caveat onesti residui: l'OOS gain al peso deployabile è modesto (10.86→11.0); il tail 2018 non è zero (−12% a half); l'edge dipende dai fill intrabar (per i LIMIT è legittimo, ma lo shadow lo deve confermare).

Old/portfolios.yml

@@ -35,11 +35,34 @@ overrides:
   # Override per-famiglia: irrilevante per il conto reale (i pairs sono PAPER), tenuto
   # solo perche' i worker pairs in sola-statistica dimensionino come da gate storico.
   position_size_family: {PAIRS: 0.13}
+  # PAPER_EXTRA (2026-06-18): sleeve paper definiti SOLO qui (NON in _defs.py/PORT06) ->
+  # NON entrano nel backtest canonico/regression-lock. Shadow STAGE 1 del Price Ladder:
+  # GridWorker SIM-only su feed Deribit BTC 1h (NESSUN ordine reale; kind=grid non e' mai
+  # eseguito reale per costruzione). Config = re-gate su dati puliti (branch
+  # price_ladder_research): regime-gate range trend_max 1.5, rd0.20/ru0.06, 6 livelli,
+  # sl0.10/tp0.03. position_size 0.15 PINNATO (canonico validato; senza, erediterebbe il
+  # 0.5 globale del micro-test). Gira in data/portfolio_paper_stats/GRID_BTC/.
+  paper_extra:
+    - sid: GRID_BTC
+      kind: grid
+      name: GRID
+      asset: BTC
+      tf: "1h"
+      cluster: BTC-rev
+      params: {tf: "1h", range_down: 0.20, range_up: 0.06, levels: 6,
+               sl_buf: 0.10, tp_buf: 0.03, max_bars: 720,
+               regime: range, trend_max: 1.5, position_size: 0.15}
   # Esecuzione REALE su Deribit MAINNET. Solo i 7 single-leg con TP/SL in metadata:
   # 6 fade (MR01/MR02/MR07 x BTC/ETH 15m) + DIP01 (BTC 1h). Ordini sui LINEARI USDC
   # (payoff lineare = matematica del backtest; fee/PnL in USDC).
   execution:
-    enabled: true
+    # DISATTIVATA 2026-06-18: la verifica su dati REALI (Binance spot + perp Deribit
+    # MAINNET) ha mostrato che le 6 fade NON hanno edge sui prezzi veri (tutte negative
+    # ogni anno, Sharpe -3..-5) -> il +1000% "validato OOS" era un artefatto dei print
+    # fantasma del feed testnet Cerbero. Micro-test fermato e conto flattato a mano.
+    # Tenuta a false come blindatura: un 'docker compose up'/deploy NON deve riprendere
+    # a tradere reale finche' non ri-validiamo l'intera libreria su dati reali.
+    enabled: false
     # SOLO fade + DIP01 in Fase 1 (SH01 e pairs -> paper, vedi paper_sleeves).
     sleeves: [MR01, MR02, MR07, DIP01]
     instruments:

Old/scripts/analysis/binance_fade_check.py

@@ -0,0 +1,100 @@
+"""CONFERMA su feed PURO Binance spot — la fade ha edge reale o era artefatto-print?
+
+Il clean close-aware ha spliciato barre Binance-spot dentro la serie Deribit-perp:
+il crollo del backtest potrebbe (a) rivelare la verita' (l'edge era print) o (b) essere
+un artefatto dello splice (basis perp/spot ai punti di giunzione). Test decisivo:
+girare lo STESSO engine fade su una serie 100% Binance spot (sorgente coerente, niente
+splice). Se anche qui la fade e' negativa -> edge confermato finto.
+"""
+from __future__ import annotations
+import sys
+from pathlib import Path
+PROJECT_ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(PROJECT_ROOT))
+import numpy as np, pandas as pd, ccxt
+from scripts.analysis.risk_management import build_trades, strats_for
+
+EX = ccxt.binance({"enableRateLimit": True})
+SYM = {"BTC": "BTC/USDT", "ETH": "ETH/USDT"}
+START = "2020-06-01"   # warmup per EMA200/ATR; il report usa 2021+
+YEARS = [2021, 2022, 2023, 2024, 2025, 2026]
+
+
+def fetch(asset, tf="15m"):
+    start_ms = int(pd.Timestamp(START, tz="UTC").timestamp() * 1000)
+    end_ms = int(pd.Timestamp("2026-05-26", tz="UTC").timestamp() * 1000)
+    tf_ms = 15 * 60 * 1000
+    rows = []
+    since = start_ms
+    while since <= end_ms:
+        r = EX.fetch_ohlcv(SYM[asset], tf, since=since, limit=1000)
+        if not r:
+            break
+        rows += r
+        nxt = int(r[-1][0]) + tf_ms
+        if nxt <= since:
+            break
+        since = nxt
+    df = pd.DataFrame(rows, columns=["timestamp", "open", "high", "low", "close", "volume"])
+    df = df.drop_duplicates("timestamp").sort_values("timestamp").reset_index(drop=True)
+    return df[df["timestamp"] <= end_ms]
+
+
+def yearly(rows_by_year_ret, ts, trades, pos=0.15):
+    # per-anno compound
+    yr = {y: 1000.0 for y in YEARS}
+    # ricostruisco compound per anno separato (reset capitale ogni anno per ret% annuo)
+    by = {y: [] for y in YEARS}
+    for i, j, r in trades:
+        y = ts.iloc[i].year
+        if y in by:
+            by[y].append(r)
+    out = {}
+    for y in YEARS:
+        cap = 1000.0
+        for r in by[y]:
+            cap = max(cap + cap * pos * r, 10.0)
+        out[y] = (cap / 1000 - 1) * 100
+    return out
+
+
+def full_oos(ts, trades, pos=0.15, split_date="2024-10-12"):
+    sd = pd.Timestamp(split_date, tz="UTC")
+    def comp(sub):
+        cap = 1000.0; rets = []
+        for i, j, r in sub:
+            cap = max(cap + cap * pos * r, 10.0); rets.append(r * pos)
+        return cap, rets
+    capF, rF = comp(trades)
+    oos = [(i, j, r) for i, j, r in trades if ts.iloc[i] >= sd]
+    capO, rO = comp(oos)
+    shF = float(np.mean(rF) / np.std(rF) * np.sqrt(len(rF))) if len(rF) > 1 and np.std(rF) > 0 else 0.0
+    shO = float(np.mean(rO) / np.std(rO) * np.sqrt(len(rO))) if len(rO) > 1 and np.std(rO) > 0 else 0.0
+    return (capF / 1000 - 1) * 100, shF, (capO / 1000 - 1) * 100, shO
+
+
+def main():
+    print(f"Fetch Binance 15m (da {START})...\n")
+    data = {a: fetch(a) for a in ("BTC", "ETH")}
+    print("=" * 92)
+    print("  FADE su PURO Binance spot 15m | RET% per anno (pos 0.15, leva 3x, trend 3.0)")
+    print("=" * 92)
+    print(f"  {'sleeve':<12s}" + "".join(f"{y:>9d}" for y in YEARS) + "   |   FULL%   Shrp |  OOS%  Shrp")
+    print("  " + "-" * 88)
+    for asset in ("BTC", "ETH"):
+        df = data[asset].copy()
+        df = df[pd.to_datetime(df["timestamp"], unit="ms", utc=True).dt.year >= 2021].reset_index(drop=True) \
+             if False else df  # tengo il warmup, filtro nei trade
+        ts = pd.to_datetime(df["timestamp"], unit="ms", utc=True)
+        for code in ("MR01", "MR02", "MR07"):
+            fn, params = strats_for(asset)[code]
+            trades = build_trades(fn(df, **params), df, trend_max=3.0)
+            trades = [(i, j, r) for i, j, r in trades if ts.iloc[i].year >= 2021]
+            yr = yearly(None, ts, trades)
+            fF, shF, fO, shO = full_oos(ts, trades)
+            print(f"  {code+'_'+asset:<12s}" + "".join(f"{yr[y]:>+9.0f}" for y in YEARS) +
+                  f"   | {fF:>+8.0f} {shF:>5.2f} | {fO:>+6.0f} {shO:>5.2f}")
+
+
+if __name__ == "__main__":
+    main()

Old/scripts/analysis/cerbero_probe.py

@@ -0,0 +1,77 @@
+"""PROBE CERBERO MCP — quali exchange/fonti serve davvero? (cerca IBKR & alt)
+
+Non si fida del commento nel codice: interroga il server v2 (/mcp/tools/get_historical
+con `exchange=...`) su una matrice di nomi exchange + naming strumento, e riporta chi
+risponde con candele vere. Cerca in particolare IBKR e Alpaca (spot US reale).
+
+    uv run python scripts/analysis/cerbero_probe.py
+"""
+from __future__ import annotations
+import sys
+from pathlib import Path
+PROJECT_ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(PROJECT_ROOT))
+import requests
+from src.live.cerbero_client import CerberoClient, is_mainnet
+
+C = CerberoClient()
+START, END, INTERVAL = "2026-05-20", "2026-05-27", "1h"
+
+# exchange -> naming strumento BTC da provare (varianti)
+EXCHANGES = {
+    "deribit":      ["BTC-PERPETUAL"],
+    "hyperliquid":  ["BTC"],
+    "bybit":        ["BTCUSDT", "BTC-PERPETUAL", "BTCUSD"],
+    "alpaca":       ["BTC/USD", "BTCUSD", "BTC/USDT", "BTC"],
+    "ibkr":         ["BTC", "BTC.USD", "BTCUSD"],
+    "interactivebrokers": ["BTC", "BTCUSD"],
+    "binance":      ["BTCUSDT", "BTC/USDT", "BTC-PERPETUAL"],
+    "coinbase":     ["BTC-USD", "BTC/USD", "BTCUSD"],
+    "kraken":       ["XBTUSD", "BTC/USD", "BTCUSD"],
+    "okx":          ["BTC-USDT", "BTC-USD-SWAP"],
+}
+
+
+def try_v2(exchange: str, instrument: str) -> str:
+    try:
+        candles = C.get_historical_v2(instrument, START, END, INTERVAL, exchange=exchange)
+        if candles:
+            c0, c1 = candles[0], candles[-1]
+            return f"OK  {len(candles):>4} candele  close {c1.get('close')}"
+        return "vuoto (0 candele)"
+    except requests.HTTPError as e:
+        code = e.response.status_code if e.response is not None else "?"
+        return f"HTTP {code}"
+    except Exception as e:
+        return f"{type(e).__name__}: {str(e)[:50]}"
+
+
+def list_tools() -> None:
+    """Tenta di enumerare i tool/endpoint del server (best-effort)."""
+    for path in ("/mcp/tools", "/mcp/tools/list", "/tools", "/mcp"):
+        try:
+            r = requests.post(f"{C.base_url}{path}", headers=C._headers(), json={}, timeout=10)
+            print(f"  POST {path:<18} -> HTTP {r.status_code}  {str(r.text)[:200]}")
+        except Exception as e:
+            print(f"  POST {path:<18} -> {type(e).__name__}: {str(e)[:60]}")
+
+
+def main():
+    print("=" * 80)
+    print(f"  PROBE CERBERO MCP @ {C.base_url}   (mainnet={is_mainnet()})")
+    print("=" * 80)
+    print("\n[1] Enumerazione endpoint/tool (best-effort):")
+    list_tools()
+    print(f"\n[2] get_historical_v2 BTC {INTERVAL} {START}->{END} per exchange:")
+    print(f"  {'exchange':<20s}{'instrument':<16s}esito")
+    print("  " + "-" * 70)
+    for ex, syms in EXCHANGES.items():
+        for sym in syms:
+            res = try_v2(ex, sym)
+            print(f"  {ex:<20s}{sym:<16s}{res}")
+            if res.startswith("OK"):
+                break   # trovato il naming giusto, basta
+
+
+if __name__ == "__main__":
+    main()

Old/scripts/analysis/clean_fade_rerun.py

@@ -0,0 +1,84 @@
+"""RI-ESECUZIONE FADE sul feed PULITO (data/raw ricostruito da Deribit mainnet, 2026-06-19).
+
+Dopo il rebuild (scripts/analysis/rebuild_history.py) i parquet canonici in data/raw
+sono storia Deribit mainnet reale (ccxt pubblico), certificata vs Coinbase USD. Qui giro
+le 6 fade (MR01/MR02/MR07 x BTC/ETH) con l'ENGINE CANONICO (risk_management.build_trades,
+strats_for) sul feed pulito, su ENTRAMBI i timeframe:
+  - 1h  = config dei claim storici "validati OOS" (CLAUDE.md: MR01 BTC +201% / ETH +1238%)
+  - 15m = config LIVE attuale (swap 1h->15m, v1.1.30)
+
+Stessi parametri del live: pos 0.15, leva 3x, trend_max 3.0, fee 0.10% RT. OOS = ultimo 30%
+per indice (convenzione OOS_FRAC del progetto). Read-only, nessuna scrittura.
+
+    uv run python scripts/analysis/clean_fade_rerun.py
+"""
+from __future__ import annotations
+import sys
+from pathlib import Path
+PROJECT_ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(PROJECT_ROOT))
+import numpy as np
+import pandas as pd
+from src.data.downloader import load_data
+from scripts.analysis.risk_management import strats_for, build_trades, POS, LEV, OOS_FRAC
+
+TFS = ["1h", "15m"]
+YEARS = list(range(2018, 2027))
+
+
+def metrics(ts, trades, split_idx, pos=POS):
+    """trades = [(i, j, r_netto)]. Ritorna (per-anno%, FULL%, FULL Sharpe, OOS%, OOS Sharpe)."""
+    by = {y: 0.0 for y in YEARS}
+    capF = capO = 1000.0
+    rF, rO = [], []
+    for i, j, r in trades:
+        y = ts.iloc[i].year
+        if y in by:
+            by[y] += r * pos * 1000.0  # contributo lineare per la riga annuale
+        capF = max(capF + capF * pos * r, 10.0)
+        rF.append(r * pos)
+        if i >= split_idx:
+            capO = max(capO + capO * pos * r, 10.0)
+            rO.append(r * pos)
+    yr = {y: by[y] / 1000.0 * 100 for y in YEARS}
+    shF = float(np.mean(rF) / np.std(rF) * np.sqrt(len(rF))) if len(rF) > 1 and np.std(rF) > 0 else 0.0
+    shO = float(np.mean(rO) / np.std(rO) * np.sqrt(len(rO))) if len(rO) > 1 and np.std(rO) > 0 else 0.0
+    return yr, (capF / 1000 - 1) * 100, shF, (capO / 1000 - 1) * 100, shO
+
+
+def main():
+    years_present = set()
+    results = {}
+    for tf in TFS:
+        for asset in ("BTC", "ETH"):
+            df = load_data(asset, tf)
+            ts = pd.to_datetime(df["timestamp"], unit="ms", utc=True)
+            years_present |= set(ts.dt.year.unique().tolist())
+            split_idx = int(len(df) * (1 - OOS_FRAC))
+            cov = f"{ts.iloc[0].date()} -> {ts.iloc[-1].date()} ({len(df)} barre, OOS da {ts.iloc[split_idx].date()})"
+            for code in ("MR01", "MR02", "MR07"):
+                fn, params = strats_for(asset)[code]
+                trades = build_trades(fn(df, **params), df, trend_max=3.0)
+                results[(tf, asset, code)] = (metrics(ts, trades, split_idx), len(trades), cov)
+
+    years = [y for y in YEARS if y in years_present]
+    for tf in TFS:
+        print("\n" + "=" * (62 + 9 * len(years)))
+        print(f"  FADE su FEED PULITO (Deribit mainnet) — {tf} | pos {POS}, leva {LEV:.0f}x, trend 3.0, fee 0.10% RT")
+        # mostra la copertura una volta per asset
+        for asset in ("BTC", "ETH"):
+            print(f"    {asset}: {results[(tf, asset, 'MR01')][2]}")
+        print("=" * (62 + 9 * len(years)))
+        print(f"  {'sleeve':<11s}" + "".join(f"{y:>9d}" for y in years) +
+              f"{'Trd':>7s}{'FULL%':>9s}{'Shrp':>7s}{'OOS%':>8s}{'Shrp':>7s}")
+        print("  " + "-" * (60 + 9 * len(years)))
+        for asset in ("BTC", "ETH"):
+            for code in ("MR01", "MR02", "MR07"):
+                (yr, fF, shF, fO, shO), ntr, _ = results[(tf, asset, code)]
+                print(f"  {code+'_'+asset:<11s}" + "".join(f"{yr[y]:>+9.0f}" for y in years) +
+                      f"{ntr:>7d}{fF:>+9.0f}{shF:>7.2f}{fO:>+8.0f}{shO:>7.2f}")
+    print()
+
+
+if __name__ == "__main__":
+    main()

Old/scripts/analysis/clean_feed.py

@@ -0,0 +1,274 @@
+"""CLEAN FEED — ripara gli spike-print del feed Deribit/Cerbero coi dati reali di Binance.
+
+Motivo (2026-06-18): la ricerca Price Ladder ha rivelato che data/raw/btc_1h.parquet (e gli
+altri TF/asset) contengono barre con WICK FASULLI (es. BTC 2024-02-13: low 38.580 con
+close ~49.968, BTC reale ~50k) — lo stesso spike-print testnet documentato in CLAUDE.md
+(TP_PHANTOM / feed congelato). Sono pochi (decine per file) ma avvelenano i backtest
+(stop/entry su prezzi mai avvenuti) e gonfiano le code (la "FULL DD BTC ~54%" del ladder era
+in gran parte questo).
+
+Metodo (conservativo, fonte di verita' = Binance spot via ccxt, gia' cablato nel progetto):
+  1. DETECT: barra sospetta = high/low che sfora >15% il cluster di close locale [i-1,i,i+1]
+     (close sano + wick fasullo). Soglia larga: tanto e' Binance ad arbitrare.
+  2. ARBITRA: per ogni sospetta, scarica la barra Binance reale (BTC/USDT, ETH/USDT) allo
+     stesso tf/timestamp. Sostituisce O/H/L/C SOLO se Binance dissente materialmente (>2% su
+     high o low) -> un wick VERO confermato da Binance resta intatto. Volume/timestamp invariati.
+  3. BACKUP (data/_feed_backup/) + scrittura atomica + VALIDAZIONE (re-scan = 0 sospette,
+     n righe invariato). Log dettagliato di ogni barra riparata (old OHLC -> new).
+
+    uv run python scripts/analysis/clean_feed.py [ASSET_TF ...]   # default: tutti BTC/ETH x TF
+    uv run python scripts/analysis/clean_feed.py BTC_1h           # un solo file
+"""
+from __future__ import annotations
+
+import shutil
+import sys
+import time
+from pathlib import Path
+
+import numpy as np
+import pandas as pd
+
+PROJECT_ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(PROJECT_ROOT))
+
+from src.data.downloader import _parquet_path, DATA_DIR
+
+BACKUP = PROJECT_ROOT / "data" / "_feed_backup"
+SYMBOL = {"BTC": "BTC/USDT", "ETH": "ETH/USDT"}
+WICK_THR = 0.15        # detect: wick oltre 15% il cluster di close locale
+REPLACE_THR = 0.02     # arbitra: sostituisci solo se Binance dissente >2% su high/low
+CLOSE_THR = 0.01       # close-aware: sostituisci la barra se il CLOSE Deribit dista >1% da Binance
+TF_MS = {"5m": 5, "8m": 8, "13m": 13, "15m": 15, "19m": 19, "30m": 30, "1h": 60}
+_EX = None
+
+
+def _binance():
+    global _EX
+    if _EX is None:
+        import ccxt
+        _EX = ccxt.binance({"enableRateLimit": True})
+    return _EX
+
+
+def suspect_mask(df: pd.DataFrame) -> np.ndarray:
+    c = df["close"].to_numpy(float); h = df["high"].to_numpy(float); l = df["low"].to_numpy(float)
+    cp = np.roll(c, 1); cp[0] = c[0]; cn = np.roll(c, -1); cn[-1] = c[-1]
+    locmax = np.maximum.reduce([c, cp, cn]); locmin = np.minimum.reduce([c, cp, cn])
+    return (h > locmax * (1 + WICK_THR)) | (l < locmin * (1 - WICK_THR))
+
+
+def _binance_bar(symbol: str, tf: str, ts_ms: int):
+    """OHLC reale Binance alla barra ts_ms (None se assente)."""
+    try:
+        rows = _binance().fetch_ohlcv(symbol, tf, since=ts_ms - 1, limit=3)
+    except Exception as e:
+        print(f"      ! binance err: {type(e).__name__}: {str(e)[:80]}")
+        return None
+    for r in rows:
+        if int(r[0]) == ts_ms:
+            return float(r[1]), float(r[2]), float(r[3]), float(r[4])
+    return None
+
+
+def clean_file(asset: str, tf: str) -> dict:
+    path = _parquet_path(asset, tf)
+    if not path.exists():
+        return {"file": f"{asset}_{tf}", "skip": "no-file"}
+    df = pd.read_parquet(path)
+    mask = suspect_mask(df)
+    idx = np.where(mask)[0]
+    n0 = len(df)
+    if len(idx) == 0:
+        return {"file": f"{asset}_{tf}", "suspect": 0, "repaired": 0, "kept_real": 0,
+                "missing_binance": 0, "rows_before": n0, "rows_after": n0,
+                "still_suspect": 0, "log": []}
+    repaired, kept, missing = 0, 0, 0
+    log = []
+    for i in idx:
+        ts = int(df.iloc[i]["timestamp"])
+        b = _binance_bar(SYMBOL[asset], tf, ts)
+        oh, ol = float(df.iloc[i]["high"]), float(df.iloc[i]["low"])
+        if b is None:
+            missing += 1
+            continue
+        bo, bh, bl, bc = b
+        if abs(oh - bh) / bh > REPLACE_THR or abs(ol - bl) / max(bl, 1e-9) > REPLACE_THR:
+            df.iat[i, df.columns.get_loc("open")] = bo
+            df.iat[i, df.columns.get_loc("high")] = bh
+            df.iat[i, df.columns.get_loc("low")] = bl
+            df.iat[i, df.columns.get_loc("close")] = bc
+            repaired += 1
+            ts_s = pd.to_datetime(ts, unit="ms", utc=True).strftime("%Y-%m-%d %H:%M")
+            log.append(f"      {ts_s}  H {oh:,.0f}->{bh:,.0f}  L {ol:,.0f}->{bl:,.0f}")
+        else:
+            kept += 1                      # Binance conferma il wick: barra reale, intatta
+    if repaired:
+        BACKUP.mkdir(parents=True, exist_ok=True)
+        shutil.copy2(path, BACKUP / f"{asset.lower()}_{tf}.parquet.bak")
+        tmp = path.with_suffix(".parquet.tmp")
+        df.to_parquet(tmp, index=False)
+        tmp.replace(path)
+    # validazione
+    df2 = pd.read_parquet(path)
+    still = int(suspect_mask(df2).sum())
+    return {"file": f"{asset}_{tf}", "suspect": len(idx), "repaired": repaired,
+            "kept_real": kept, "missing_binance": missing, "rows_before": n0,
+            "rows_after": len(df2), "still_suspect": still, "log": log}
+
+
+def _binance_series(asset: str, tf: str, start_ms: int, end_ms: int) -> dict:
+    """OHLC reale Binance per l'intero range -> dict ts_ms -> (o,h,l,c). Bulk paginato."""
+    ex = _binance()
+    tf_ms = TF_MS[tf] * 60 * 1000
+    out: dict[int, tuple] = {}
+    since = start_ms
+    while since <= end_ms:
+        try:
+            rows = ex.fetch_ohlcv(SYMBOL[asset], tf, since=since, limit=1000)
+        except Exception as e:
+            print(f"      ! binance err: {type(e).__name__}: {str(e)[:80]}")
+            break
+        if not rows:
+            break
+        for r in rows:
+            out[int(r[0])] = (float(r[1]), float(r[2]), float(r[3]), float(r[4]))
+        nxt = int(rows[-1][0]) + tf_ms
+        if nxt <= since:
+            break
+        since = nxt
+        if len(rows) < 1000 and since > end_ms:
+            break
+    return out
+
+
+def clean_file_close(asset: str, tf: str, thr: float = CLOSE_THR, backup_dir: Path | None = None) -> dict:
+    """CLOSE-AWARE: sostituisce O/H/L/C con Binance per ogni barra il cui CLOSE Deribit
+    dista > thr da Binance (1% default). Cattura i print 'silenziosi' che il wick-check
+    >15% non vede (close fantasma su barra di range piccolo). Fonte di verita' = Binance
+    spot (il feed storico e' perp testnet -> inaffidabile; lo spot ~ mainnet via arbitraggio)."""
+    if tf not in TF_MS:
+        return {"file": f"{asset}_{tf}", "skip": "tf-non-binance"}
+    path = _parquet_path(asset, tf)
+    if not path.exists():
+        return {"file": f"{asset}_{tf}", "skip": "no-file"}
+    df = pd.read_parquet(path)
+    n0 = len(df)
+    tms = df["timestamp"].to_numpy("int64")
+    c = df["close"].to_numpy(float)
+    bz = _binance_series(asset, tf, int(tms[0]), int(tms[-1]))
+    col = {k: df.columns.get_loc(k) for k in ("open", "high", "low", "close")}
+    fixed, by_year, missing = 0, {}, 0
+    log = []
+    for i in range(n0):
+        b = bz.get(int(tms[i]))
+        if b is None:
+            missing += 1
+            continue
+        bo, bh, bl, bc = b
+        if bc <= 0:
+            continue
+        orig = float(c[i])    # cattura PRIMA della scrittura (to_numpy puo' essere una view)
+        if abs(orig - bc) / bc > thr:
+            df.iat[i, col["open"]] = bo
+            df.iat[i, col["high"]] = bh
+            df.iat[i, col["low"]] = bl
+            df.iat[i, col["close"]] = bc
+            fixed += 1
+            y = pd.to_datetime(int(tms[i]), unit="ms", utc=True).year
+            by_year[y] = by_year.get(y, 0) + 1
+            if len(log) < 10:
+                ts_s = pd.to_datetime(int(tms[i]), unit="ms", utc=True).strftime("%Y-%m-%d %H:%M")
+                log.append(f"      {ts_s}  C {orig:,.2f}->{bc:,.2f}  ({abs(orig-bc)/bc*100:.1f}%)")
+    if fixed:
+        bdir = backup_dir or BACKUP
+        bdir.mkdir(parents=True, exist_ok=True)
+        shutil.copy2(path, bdir / f"{asset.lower()}_{tf}.parquet.bak")
+        tmp = path.with_suffix(".parquet.tmp")
+        df.to_parquet(tmp, index=False)
+        tmp.replace(path)
+    # validazione: ri-scan, 0 barre residue oltre soglia (fra quelle coperte da Binance)
+    df2 = pd.read_parquet(path)
+    c2 = df2["close"].to_numpy(float)
+    still = sum(1 for i in range(len(df2))
+                if (b := bz.get(int(tms[i]))) and b[3] > 0 and abs(c2[i] - b[3]) / b[3] > thr)
+    return {"file": f"{asset}_{tf}", "covered": n0 - missing, "fixed": fixed,
+            "missing_binance": missing, "rows_before": n0, "rows_after": len(df2),
+            "still_over_thr": still, "by_year": by_year, "log": log}
+
+
+def main():
+    args = [a for a in sys.argv[1:] if not a.startswith("--")]
+    close_mode = "--close" in sys.argv
+    dry = "--dry" in sys.argv
+    if close_mode:
+        targets = args or [f"{a}_{tf}" for a in ("BTC", "ETH") for tf in ("5m", "15m", "1h")]
+        stamp = time.strftime("%Y%m%d-%H%M%S")
+        bdir = BACKUP / f"pre_close_clean_{stamp}"
+        print(f"CLEAN FEED (close-aware vs Binance, thr={CLOSE_THR*100:.0f}%) — "
+              f"{'DRY-RUN (nessuna scrittura)' if dry else f'backup in {bdir}'}\n")
+        grand = 0
+        for t in targets:
+            asset, tf = t.split("_", 1)
+            if dry:
+                # dry: conta soltanto, niente scrittura
+                r = _dry_close(asset, tf)
+            else:
+                r = clean_file_close(asset, tf, backup_dir=bdir)
+            if r.get("skip"):
+                print(f"  {t:<9} SKIP ({r['skip']})"); continue
+            grand += r.get("fixed", 0)
+            yr = " ".join(f"{y}:{n}" for y, n in sorted(r.get("by_year", {}).items()))
+            print(f"  {r['file']:<9} coperte={r.get('covered',0):>7} riparate={r.get('fixed',0):>4} "
+                  f"no-binance={r.get('missing_binance',0):>5} | righe {r['rows_before']}=={r.get('rows_after',r['rows_before'])} "
+                  f"residue>thr={r.get('still_over_thr','-')}")
+            if yr:
+                print(f"      per anno: {yr}")
+            for line in r.get("log", []):
+                print(line)
+        print(f"\n  TOTALE barre riparate (close-aware): {grand}")
+        return
+    targets = args or [f"{a}_{tf}" for a in ("BTC", "ETH") for tf in ("5m", "15m", "30m", "1h")]
+    print(f"CLEAN FEED — backup in {BACKUP}\n")
+    grand = 0
+    for t in targets:
+        asset, tf = t.split("_", 1)
+        r = clean_file(asset, tf)
+        if r.get("skip"):
+            print(f"  {t:<9} SKIP ({r['skip']})"); continue
+        grand += r.get("repaired", 0)
+        print(f"  {r['file']:<9} sospette={r['suspect']:>3} riparate={r['repaired']:>3} "
+              f"reali-tenute={r.get('kept_real',0):>3} no-binance={r.get('missing_binance',0):>2} "
+              f"| righe {r['rows_before']}=={r['rows_after']}  residue-sospette={r['still_suspect']}")
+        for line in r.get("log", [])[:8]:
+            print(line)
+        if len(r.get("log", [])) > 8:
+            print(f"      ... (+{len(r['log'])-8} altre)")
+    print(f"\n  TOTALE barre riparate: {grand}")
+
+
+def _dry_close(asset: str, tf: str, thr: float = CLOSE_THR) -> dict:
+    """Conta soltanto quante barre verrebbero riparate (nessuna scrittura)."""
+    if tf not in TF_MS:
+        return {"file": f"{asset}_{tf}", "skip": "tf-non-binance"}
+    path = _parquet_path(asset, tf)
+    if not path.exists():
+        return {"file": f"{asset}_{tf}", "skip": "no-file"}
+    df = pd.read_parquet(path)
+    tms = df["timestamp"].to_numpy("int64"); c = df["close"].to_numpy(float)
+    bz = _binance_series(asset, tf, int(tms[0]), int(tms[-1]))
+    fixed, by_year, missing = 0, {}, 0
+    for i in range(len(df)):
+        b = bz.get(int(tms[i]))
+        if b is None:
+            missing += 1; continue
+        if b[3] > 0 and abs(c[i] - b[3]) / b[3] > thr:
+            fixed += 1
+            y = pd.to_datetime(int(tms[i]), unit="ms", utc=True).year
+            by_year[y] = by_year.get(y, 0) + 1
+    return {"file": f"{asset}_{tf}", "covered": len(df) - missing, "fixed": fixed,
+            "missing_binance": missing, "rows_before": len(df), "by_year": by_year, "log": []}
+
+
+if __name__ == "__main__":
+    main()

Old/scripts/analysis/deribit_history_plan.py

@@ -0,0 +1,146 @@
+"""PIANO STORICO DERIBIT — quanta storia copre davvero il venue dove ESEGUIAMO?
+
+Obiettivo: scegliere la fonte migliore per ricostruire lo storico di backtest, dato
+che si esegue su Deribit. Principio (gia' misurato in multi_source_check): l'ancora
+giusta e' il VENUE DI ESECUZIONE, non Binance/USDT. Qui rispondo con i numeri a:
+
+  1. COPERTURA: da quando esiste OHLCV su Deribit MAINNET (ccxt pubblico, no token) per
+     gli strumenti che tradiamo — inverse (BTC/ETH-PERPETUAL) e lineari USDC.
+  2. TIMEFRAME nativi disponibili su Deribit.
+  3. FEDELTA' inverse-vs-lineare (stesso indice? -> posso usare l'inverse, storia lunga,
+     come price-series e i lineari recenti sono ridondanti per il PREZZO).
+  4. GAP pre-Deribit: quanto indietro vanno le strategie e cosa manca -> da gap-fillare
+     con Coinbase USD (spot, NON USDT).
+
+Tutto via ccxt pubblico Deribit (= api.deribit.com mainnet, reale). Non modifica nulla.
+
+    uv run python scripts/analysis/deribit_history_plan.py
+"""
+from __future__ import annotations
+import sys
+from pathlib import Path
+PROJECT_ROOT = Path(__file__).resolve().parents[2]
+sys.path.insert(0, str(PROJECT_ROOT))
+import numpy as np
+import pandas as pd
+import ccxt
+
+DERIBIT = ccxt.deribit({"enableRateLimit": True})
+COINBASE = ccxt.coinbase({"enableRateLimit": True})
+
+
+def earliest(symbol: str, tf: str = "1d") -> tuple[str | None, int, str | None]:
+    """Trova la prima candela disponibile (probe since 2016) + n candele totali stimate."""
+    since = int(pd.Timestamp("2016-01-01", tz="UTC").timestamp() * 1000)
+    try:
+        rows = DERIBIT.fetch_ohlcv(symbol, tf, since=since, limit=5000)
+    except Exception as e:
+        return None, 0, f"{type(e).__name__}: {str(e)[:60]}"
+    if not rows:
+        return None, 0, "no-data"
+    first = pd.to_datetime(int(rows[0][0]), unit="ms", utc=True)
+    last = pd.to_datetime(int(rows[-1][0]), unit="ms", utc=True)
+    return f"{first.date()} -> {last.date()}", len(rows), None
+
+
+def list_perps() -> dict:
+    """Risolve i simboli ccxt reali dei perp Deribit per BTC/ETH (inverse + lineari)."""
+    DERIBIT.load_markets()
+    found = {}
+    for sym, m in DERIBIT.markets.items():
+        if not m.get("swap"):
+            continue
+        base = m.get("base")
+        if base not in ("BTC", "ETH"):
+            continue
+        settle = m.get("settle")
+        kind = "inverse" if m.get("inverse") else "linear"
+        found[f"{base}-{kind}({settle})"] = sym
+    return found
+
+
+def fetch_series(ex, symbol, tf, start, end, limit=1000):
+    start_ms = int(pd.Timestamp(start, tz="UTC").timestamp() * 1000)
+    end_ms = int(pd.Timestamp(end, tz="UTC").timestamp() * 1000)
+    tf_ms = ex.parse_timeframe(tf) * 1000
+    out, since = {}, start_ms
+    while since <= end_ms:
+        try:
+            rows = ex.fetch_ohlcv(symbol, tf, since=since, limit=limit)
+        except Exception:
+            break
+        if not rows:
+            break
+        for r in rows:
+            if start_ms <= int(r[0]) <= end_ms and r[4]:
+                out[int(r[0])] = float(r[4])
+        nxt = int(rows[-1][0]) + tf_ms
+        if nxt <= since:
+            break
+        since = nxt
+        if len(rows) < limit and since > end_ms:
+            break
+    return pd.Series(out)
+
+
+def dev_bps(a: pd.Series, b: pd.Series) -> tuple[int, float, float, float]:
+    df = pd.concat([a.rename("a"), b.rename("b")], axis=1, join="inner")
+    if len(df) == 0:
+        return 0, 0, 0, 0
+    d = (df["a"] - df["b"]).abs() / df["b"] * 1e4
+    return len(df), float(d.median()), float(d.quantile(.95)), float(d.max())
+
+
+def main():
+    print("=" * 84)
+    print("  PIANO STORICO DERIBIT MAINNET (ccxt pubblico, reale)")
+    print("=" * 84)
+
+    print("\n[1] Simboli perp Deribit BTC/ETH risolti:")
+    perps = list_perps()
+    for k, v in perps.items():
+        print(f"      {k:<22s} -> {v}")
+
+    print("\n[2] COPERTURA storica (1d, probe da 2016):")
+    print(f"      {'strumento':<22s}{'range disponibile':<28s}{'giorni':>8s}")
+    cov = {}
+    for k, sym in perps.items():
+        rng, n, err = earliest(sym, "1d")
+        cov[k] = (sym, rng, n)
+        print(f"      {k:<22s}{(rng or err or '-'):<28s}{n:>8d}")
+
+    print("\n[3] TIMEFRAME nativi Deribit (test su BTC inverse, oggi):")
+    bsym = next((s for k, s in perps.items() if k.startswith("BTC-inverse")), "BTC/USD:BTC")
+    tfs = []
+    for tf in ("1m", "3m", "5m", "10m", "15m", "30m", "1h", "2h", "3h", "4h", "6h", "12h", "1d"):
+        try:
+            r = DERIBIT.fetch_ohlcv(bsym, tf, limit=3)
+            tfs.append(tf if r else f"{tf}:vuoto")
+        except Exception:
+            tfs.append(f"{tf}:NO")
+    print(f"      ok: {[t for t in tfs if ':' not in t]}")
+    print(f"      ko: {[t for t in tfs if ':' in t]}")
+
+    print("\n[4] FEDELTA' inverse-vs-lineare USDC (close 1h, ultimi ~40g):")
+    for base in ("BTC", "ETH"):
+        inv = next((s for k, s in perps.items() if k.startswith(f"{base}-inverse")), None)
+        lin = next((s for k, s in perps.items() if k.startswith(f"{base}-linear")), None)
+        if not inv or not lin:
+            print(f"      {base}: manca inverse o lineare"); continue
+        a = fetch_series(DERIBIT, inv, "1h", "2026-04-15", "2026-05-27")
+        b = fetch_series(DERIBIT, lin, "1h", "2026-04-15", "2026-05-27")
+        n, med, p95, mx = dev_bps(a, b)
+        print(f"      {base}: barre={n}  inverse-vs-lineare  med {med:.1f} bps  p95 {p95:.1f}  max {mx:.1f}")
+
+    print("\n[5] GAP pre-Deribit: Deribit inverse vs Coinbase USD su finestra PROFONDA (2020-06, 1d):")
+    for base in ("BTC", "ETH"):
+        inv = next((s for k, s in perps.items() if k.startswith(f"{base}-inverse")), None)
+        a = fetch_series(DERIBIT, inv, "1d", "2020-06-01", "2020-09-01")
+        b = fetch_series(COINBASE, f"{base}/USD", "1d", "2020-06-01", "2020-09-01", limit=300)
+        n, med, p95, mx = dev_bps(a, b)
+        cov_first = cov.get(f"{base}-inverse(BTC)" if base == "BTC" else f"{base}-inverse(ETH)", (None, "?", 0))[1]
+        print(f"      {base}: Deribit-vs-Coinbase barre={n}  med {med:.1f} bps  p95 {p95:.1f}  max {mx:.1f}")
+
+
+if __name__ == "__main__":
+    main()