PythagorasGoal/docs/memory/50-dati-e-feed.md

# Dati, feed e difetti trovati

> Estratto **verbatim** da `CLAUDE.md` il 2026-08-25 durante la compattazione.
> Difetti del dato scoperti e riparati, e la catena opzioni raccolta in proprio.
> Il testo non e' stato riscritto: e' la memoria originale, spostata.

---

- ⚠ **SPLIT NON AGGIUSTATI nel feed equity — difetto sul LIBRO LIVE, riparato (2026-07-25).**
  `data/raw/eq_iwm_1d.parquet` ed `eq_efa_1d.parquet` avevano uno split non aggiustato il
  **2005-06-09** (IWM 2:1 = −49.5%; EFA 3:1 = −66.5%); IB `ADJUSTED_LAST` non li aveva aggiustati.
  **La certificazione non li vedeva per un punto cieco strutturale:** l'unica guardia era
  `maxret > 50% → SPIKE?` e uno split 2:1 fa **esattamente −50%** → IWM passava a 49.5% con status
  OK. **IWM e' una delle 6 gambe di GTAA01 in produzione.** Impatto: GTAA6 FULL Sh 0.61→**0.64**,
  IS 0.49→**0.54**, OOS 2015+ e maxDD **INVARIATI** (artefatto nel 2005, fuori hold-out) → il
  difetto SOTTOSTIMAVA lo sleeve, **nessuna decisione presa va rivista**. Discriminante
  split-vs-crollo (riusabile): **non il rapporto** (SLV 2026-01-30 ha rapporto 1.3994, a 4bps da
  1.4, ma e' un crollo vero: GLD −10.3% lo stesso giorno) ma il **RANGE INTRADAY** — lo split apre
  gia' al nuovo livello con range normale (IWM: open 47.00, range 1.7%), il crollo si muove DENTRO
  la barra (SLV: range 33%). Modulo `src/data/eq_splits.py` (`detect_unadjusted_splits` a 3
  condizioni congiunte + `repair_splits` componibile), riparazione **in lettura** in
  `src/portfolio/gtaa.py::_close` e `scripts/research/eqlib.py::load_eq`, status
  **`SPLIT-NON-AGG`** in `fetch_ib_equities.certify()`, test `tests/test_eq_splits.py` (8 casi).
  **Regola nuova: ogni soglia di certificazione tarata su un valore tondo va controllata contro il
  difetto che genera esattamente quel valore** (una soglia a 50% non puo' sorvegliare gli split 2:1).

- ⚠️ **IL FEED EQUITY NON AVEVA UN CROSS-CHECK — buco trovato e chiuso (2026-07-26).**
  `src/data/eq_crosscheck.py`. Nel crypto la certificazione incrocia sempre piu' venue
  (`certify_feed.py` vs Coinbase USD); il feed equity aveva **solo controlli locali** (integrita',
  gap, spike, split). Il primo veicolo estero ha trovato il buco alla prima estrazione: **CSPX
  2012-01-13** con `open/high 112.740` in **USD** e `low/close 88.010` in **EUR** (fattore dai close
  adiacenti **1.2797** = EURUSD di quel giorno) → −21.9% e poi +27.8% mentre SPY faceva −0.39%.
  **La certificazione esistente non lo vedeva:** unica guardia `maxret > 50% → SPIKE?`, e una
  contaminazione EUR/USD vale ~22-28% — **stesso schema dello split 2:1 del 25/07** (che valeva
  *esattamente* −50%). **2ª conferma: una soglia tarata su una classe di difetto non sorveglia le
  altre.**
  **Perche' il GEMELLO e non una regola locale:** il discriminante del 25/07 (range intraday) qui
  non funziona — anche un crollo vero ha range enorme (SLV 33%). Cio' che separa i casi e' che **un
  evento di mercato lo fa anche il gemello**: nel *rapporto* i movimenti veri si cancellano.
  Controprova su dati reali: la scansione sui **prezzi** segnalava IDTL 2020-03 (liquidazione
  treasury) e IGLN 2013-04 (crollo oro); sul **rapporto** spariscono.
  ⚠️ **La soglia non era tarabile sulla deviazione** — rumore legittimo fino al **9.90%**
  (2025-04-09: Londra chiude alle 11:30 di New York) contro un difetto del 21.4% → margine 2.2×,
  sotto il 3× richiesto. **La risposta non e' accettare il margine ma CAMBIARE STATISTICA:**
  `|dev| / movimento del gemello` (un disallineamento d'orario **non puo' superare il movimento del
  mercato**) → rumore **8.1**, difetto **42.7**, **margine 5.3×**. Soglia 18.0, equidistante in
  scala log. Tre condizioni congiunte: deviazione + non-spiegato + **rientro** entro 5 barre.
  **Riparazione = SCARTARE la barra, non ricostruirla** (del prezzo vero non si sa nulla).
  ⚠️ **Limite dichiarato e chiuso sul DANNO, non sulla rilevabilita':** GBPUSD 1.27 → 21% sempre
  rilevato; EURUSD 1.09 → 8.3% **dentro il rumore** e non tappabile senza falsi positivi. Misurato
  invece il danno di una contaminazione non vista: **dSharpe mediano −0.003, peggiore −0.056,
  |Δ|>0.05 nel 2%**. **REGOLA: quando un buco non si puo' chiudere senza generare falsi positivi,
  si misura il DANNO del caso non rilevato** — un buco quantificato e innocuo e' un risultato, uno
  taciuto e' un debito. Il limite e' congelato in un test (`test_limite_dichiarato_*`): se qualcuno
  abbassa la soglia, il test dice cosa e' cambiato.

- **CATENA OPZIONI REALE — RACCOLTA PROPRIA dal 2026-07-30 (cerbero-bite ASSORBITO e dismesso).**
  `/opt/docker/cerbero-bite` (progetto separato) accumulava dal 2026-06-09 la catena Deribit
  **mainnet** BTC+ETH; **è stato ELIMINATO il 2026-07-30** (container, volume, immagine e cartella
  rimossi, 12 GB liberati; codice conservato su Gitea `Adriano/Cerbero-Bite`, ultimo commit di
  dismissione) **e la raccolta è passata dentro PythagorasGoal**:
  - **raccolta:** `scripts/live/collect_chain.py`, cron **`25 * * * *`** (`scripts/cron_chain.sh`) →
    `data/raw/cb_chain/YYYY-MM-DD.parquet`. Entrambe le ali, scadenze ≤95g, OI≥100, ~570 strumenti
    a giro, ~3 min. **Minuto :25 scelto, non arbitrario:** :00 era la raffica di bite, :07 è
    `cron_book` (feed 5m di SKH01, la cosa che non deve trovare l'IP occupato).
  - **archivio ereditato:** `scripts/analysis/import_cb_archive.py` (una-tantum) →
    `cb_chain/bite_archive.parquet` (1.23M righe, 2026-05-01+) e `cb_market_snapshots.parquet`
    (17.402 righe, 2026-03-26+: DVOL, RV30, funding perp e cross, **dealer net gamma**, gamma flip,
    **rischio liquidazioni**, giorni all'evento macro — dati che il progetto non ha altrove).
    Snapshot sqlite integrale in `/opt/docker/backups/manual/cerbero-bite-20260730/` (SHA256).
  - **certificazione:** `scripts/analysis/certify_cb_chain.py`; **harness** `scripts/research/cblib.py`
    (`load_chain()` unisce archivio + raccolta, dedup su `(ts, strumento)`).
  - **battuta di cuore:** ogni giro scrive `data/chain_collect/runs.jsonl`, sorvegliato da
    `monitor_health` (cadenza 1h, `max_age_h=3`) — **un collettore fermo non produce niente, e il
    niente si legge come "nessun dato quel giorno"**.
  - **BACKUP (aggiunto 2026-07-30):** `data/raw/` è gitignored → la catena **non è in git**, e il
    backup rotativo della VPS non copriva PythagorasGoal. Aggiunta `do_pythagoras` a
    `/opt/docker/scripts/backup.sh` (daily 04:00, retention 7/28/185 g): salva **solo il dato non
    ricostruibile** — catena + contesto, `data/paper_*` e `data/chain_collect` (serie forward-only
    che alimentano i gate pre-registrati: **non sono ricalcolabili**), `data/options_daily`,
    `data/live`, `venue_watch`, `fee_watch`, `config/live.json`. ~28 MB. **Esclusi di proposito**
    i ~110 MB ricostruibili (`rebuild_history.py`, `fetch_dvol.py`, `fetch_hyperliquid.py`,
    `fetch_ib_equities.py`, cache). La funzione **fallisce rumorosamente** se la catena è assente o
    vuota, e verifica il tar prodotto (controllo positivo provato in entrambi i versi).
    ⚠️ `/opt/docker/scripts` **non è un repo git**: quella modifica vive solo su disco.
  - **Dopo un riavvio della VPS la raccolta riprende da sola** (cron di sistema `enabled`+`active`,
    nessuna dipendenza da docker o da cerbero-mcp: API pubblica Deribit diretta). Verificato con
    `env -i` che il giro funzioni nell'ambiente nudo di cron. Finestra scoperta: fino al `:25`
    successivo, **senza recupero** — un'ora persa resta persa (il collettore non fa catch-up).
  **TRE DIFETTI DI BITE NON REPLICATI** (misurati il 30/07): (a) **una chiamata per strumento** —
  `get_order_book?depth=3` dà già quote+greche+IV+OI+book+underlying, bite ne faceva due con
  rischio di disallineamento; (b) **pacing** (token bucket 4/s + backoff) invece della raffica —
  il carico non è mai stato il problema (~570 chiamate/ora = 0.16/s **distribuite**), bite le
  sparava in ~26s (~44/s) auto-saturandosi il rate limit per-IP; misurato sul nostro giro:
  **574 chiamate, 0 risposte 429**; (c) **`quote_status` esplicito** in {`ok`, `no_quote`, `error`}
  — "book vuoto" (fatto di mercato) e "chiamata fallita" (fatto di infrastruttura) sono cose
  diverse, e `book_depth_top3` è **NULL su errore, mai 0**. ⚠️ Le righe ereditate da bite hanno
  `quote_status='unknown'`: bite non registrava il perché, e si dichiara l'ignoranza invece di
  inventare uno stato.
  🚨 **BUCO DI COLONNA nell'archivio ereditato, trovato il 2026-08-22 e mai registrato prima:**
  `bite_archive` ha `index_price` e `underlying_price` **100% None (1.232.212/1.232.212)**. Il
  sottostante esiste **solo dal 2026-07-30** (raccolta propria, 18,2% delle righe) e
  `book_depth_top3` solo nel **67,2%**. **Chiunque calcoli moneyness o riprezzi sull'archivio
  pre-30/07 sta usando una colonna che non c'è** — e il file si legge senza errori, quindi il
  difetto è silenzioso.
  ✅ **Ed è CHIUDIBILE senza dato nuovo:** il forward si ricostruisce con la **parità put-call**
  dalla catena stessa — verificato contro l'osservato su **6.578 coppie: |errore| mediano 0,023%,
  p95 0,147%, corr 1,000000** → rende la superficie utilizzabile su tutti i **75 giorni** invece
  che 23. (Lo **smile**, che non richiede il forward, esiste invece su **113 giorni dal 2026-05-01**;
  la **superficie completa** solo da **2026-06-09**, perché prima bite raccoglieva una sola scadenza
  per giro — misurato da **tre** agenti indipendenti.)
  ⚠️ La famiglia raccolta è quella **inverse** (`get_instruments?currency=BTC|ETH`): la superficie
  **USDC-lineare non è nell'archivio**, e ogni conclusione su di essa nel progetto è oggi un
  **controfattuale costruito sui mid inverse**, non una misura. Puntare il collettore anche su
  `currency=USDC` costa ~~**+587 chiamate/giro (+90%)**~~ 🚨 **CORRETTO 2026-08-23 (§51): sono
  +117 chiamate = +18%.** Il 587 era il conteggio **grezzo** (1.140 strumenti USDC ≤ 95g = +81%)
  **senza il filtro OI≥100 che il collettore applica davvero**, e quel filtro taglia il 90% della
  famiglia USDC: con gli stessi filtri del collettore vivo sono **113 strumenti** contro **649**
  inverse (✅ verificato al venue da due percorsi indipendenti; replica esatta di §8 — su Deribit
  USDC l'OI e la negoziabilità sono anti-correlati). Il giro passerebbe da 652 chiamate/163 s a
  **769/192 s**, dentro la finestra del :25 e senza toccare `cron_book` al :07. Resta una decisione
  sul rate-limit per-IP, che ha già causato un guasto il 29/07 — ma **di un ordine di grandezza
  più piccola di come era stata scritta**, ed è un numero **di oggi** (cresce con la liquidità
  USDC, va ri-misurato prima di accendere).
  🚨 **LA RAGIONE PER RACCOGLIERLA E' CADUTA (2026-08-23, §64): le due superfici sono LA STESSA
  SUPERFICIE** a strike appaiati — prezzo equo identico per costruzione, mezzo-spread Δ −0,21/−0,38 pp,
  `f_venue` Δ +0,005/−0,011 ⇒ il `f` di VRP01 misurato sull'inverse **non e' «il numero della famiglia
  sbagliata», e' lo stesso numero**. Resta vero che la lineare **non e' nell'archivio**; cade
  l'argomento che la sua assenza falsi una misura gia' fatta.
  **NON assorbito, e perché:** il motore credit-spread ETH (il progetto ha già la regola "niente
  short-vol da modello in deploy"), la GUI, kill switch/dead-man/audit (PythagorasGoal ha
  `venue_watch`/`edge_watch`/`monitor_health`/`fee_watch`), `dvol_history` (`fetch_dvol.py` ha
  storia **più lunga**: 2020+ contro 2026-05), `decisions`/`positions` (59 righe a capitale $52,
  0 posizioni). Test `tests/test_collect_chain.py` (11) + `tests/test_cb_chain_vrp.py` (13).
  ⚠️ **Prima di cancellare la sorgente** (verifiche nel diario `2026-07-30-assorbimento-cerbero-bite.md`):
  snapshot **completo** e non solo integro (4 tabelle su 4 con conteggi identici al volume vivo e ai
  parquet); i 10,6 GB di backup interni **non** contenevano dati unici (stessa riga più vecchia in
  tutti gli snapshot + conteggi monotoni ⇒ nessuna potatura); zero dipendenze a runtime.
  ⚠️ **`cerbero-mcp` è un progetto DIVERSO e serve a PythagorasGoal** (Hyperliquid, percorso del
  conto) — resta acceso; la rete `traefik` che condividevano è `external:` nel compose di bite,
  quindi `down -v` non la tocca. **REGOLA: prima di cancellare una sorgente si verifica che la copia
  sia COMPLETA, non che esista** — un hash prova che il file non è corrotto, non che contenga tutto.
  **Perché si MEMORIZZA invece di interrogarla:** una catena opzioni non è ricostruibile a
  posteriori — Deribit non serve book storici, un'ora non raccolta è persa per sempre, e non c'è un
  secondo venue da cui recuperarla.
  **Certifica 4 difetti:** quote vuote, book incrociato, premio non monotono nello strike,
  `depth==0` (ambiguo **by design**: chiamata fallita e book vuoto danno lo stesso valore → si
  riporta, non si ripara).
  ⚠️ **GUASTO IN CORSO dal 2026-07-29 05:00 UTC — status `QUOTE-VUOTE`.** Il collettore persiste la
  riga anche quando il ticker fallisce (rate-limit Deribit **per-IP**: ~650 risposte 429 in ~26s a
  ogni giro, **96% al minuto :00**, generate dalla spazzata full-chain che si auto-satura) →
  `bid`/`ask`/`iv`/`delta` NULL e **conteggio righe INVARIATO** (13k/giorno prima e dopo). Tasso di
  quote vuote per settimana: 0.4·0.7·2.2·1.5·0.5·0.4·0.3 → **22%**; giorno peggiore **51.7% BTC /
  30.6% ETH**. ✅ **Risolto dal cambio di collettore** (30/07): la raccolta propria è paced e ha
  fatto 574 chiamate con **0 risposte 429**. **REGOLA: una riga presente non è un dato presente** —
  contare ciò che è QUOTATO, non ciò che è SCRITTO (3ª occorrenza dopo `paper_dvolspread` e
  `fresh_5m`). **REGOLA: un guasto IN CORSO si misura al GIORNO PEGGIORE, non in media** — la prima
  stesura confrontava "tutto" con "ultimi 7g" e diluiva un guasto di 2 giorni al 13.5%, commettendo
  a 7 giorni lo stesso errore che dichiarava di evitare a 3 mesi. Diario `2026-07-30-vrp-quote-reali.md`.