diff --git a/CLAUDE.md b/CLAUDE.md index 51321ff..4ad2d33 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -9,9 +9,10 @@ Progetto di ricerca: riconoscimento pattern frattali per trading algoritmico su - **Linguaggio:** Python 3.11+ - **Package manager:** uv (dipendenze in `pyproject.toml`, lock in `uv.lock`) - **Dati:** Parquet in `data/raw/` (non committati, ~70 MB) -- **ML:** scikit-learn (GradientBoosting), PyTorch (LSTM) +- **ML:** scikit-learn (GradientBoostingClassifier) - **Analisi:** numpy, pandas, scipy - **API dati:** Cerbero MCP su `cerbero-mcp.tielogic.xyz` (Deribit, Bybit, Hyperliquid), ccxt/Binance come fallback +- **Config:** pyyaml per `strategies.yml` ## Struttura @@ -22,12 +23,20 @@ src/backtest/ → engine di backtesting (engine.py) src/strategies/ → classe base Strategy ABC + indicatori condivisi base.py → Strategy, Signal, BacktestResult, YearlyStats indicators.py → keltner_ratio, detect_squeezes, ema, atr, rv, correlation +src/live/ → paper trading live multi-strategia + multi_runner.py → orchestratore: carica YAML, fetch candele, tick worker + strategy_worker.py → worker indipendente: capital, trade log, stato persistente + strategy_loader.py → import dinamico classi Strategy da scripts/strategies/ + cerbero_client.py → client HTTP per Cerbero MCP (Deribit testnet) + signal_engine.py → squeeze + ML real-time (per ML01) + telegram_notifier.py → notifiche Telegram per trade scripts/strategies/ → strategie attive (SQ01-SQ04, ML01) scripts/waste/ → strategie scartate (W01-W22 + REF originali) scripts/analysis/ → script di confronto e report +strategies.yml → config multi-strategy paper trader docs/diary/ → diario di ricerca giornaliero +docs/specs/ → specifiche di design data/raw/ → file .parquet OHLCV (gitignored) -data/processed/ → modelli salvati (gitignored) ``` ## Comandi @@ -37,6 +46,8 @@ uv sync # installa dipendenze uv run python -m src.data.downloader # scarica dati storici uv run python scripts/strategies/SQ02_squeeze_antifake_vol.py # miglior strategia robusta uv run python scripts/strategies/ML01_squeeze_gbm.py # squeeze + ML (GBM) +uv run python -m src.live.multi_runner # paper trading live multi-strategia +docker compose up -d # deploy Docker uv run pytest # test ``` @@ -53,31 +64,32 @@ df = load_data("ETH", "15m") # carica un asset/timeframe Fonte primaria: Cerbero MCP (endpoint `/mcp-deribit/tools/get_historical`). Token observer: nel file `secrets/observer.token` del progetto CerberoSuite. -## Strategia vincente - -**Squeeze + ML ibrida** (script 13): - -1. Rileva squeeze di volatilità (Bollinger dentro Keltner) -2. Al rilascio dello squeeze, estrai feature strutturali dalla finestra -3. GradientBoosting predice direzione con walk-forward training -4. Trade solo se modello ha confidenza ≥ 70% - -Configurazione migliore: ETH 15m, BBw=14, squeeze threshold=0.8, breakout=3 barre, leva 3x, position 15%. - -Risultato backtestato: 76.9% accuracy, 118% annuo, 4.2% drawdown, €13.78/giorno da €1.000. - ## Strategie attive +Tutte le strategie estendono `src.strategies.base.Strategy` con interfaccia comune: +`generate_signals() → backtest() → report()`. + | Codice | Nome | Tipo | Accuracy | Note | |--------|------|------|----------|------| | SQ01 | Squeeze Base | Regole | 76.7% | Squeeze breakout puro, baseline | -| SQ02 | Antifake+Vol | Regole | 79.7% | **Miglior robusto** — 9 anni, Sharpe 5.01 | -| SQ03 | All Filters | Regole | 79.2% | Cross-asset + timing + long squeeze | +| SQ02 | Antifake+Vol | Regole | **79.7%** | **Miglior robusto** — 9 anni, Sharpe 5.01 | +| SQ03 | Filtered | Regole | 79.2% | Filtri selezionabili (9 preset) | | SQ04 | Ultimate | Regole | 81.6% | Max accuracy ma concentrato 2018 | -| ML01 | Squeeze+GBM | ML | 78.8% | Walk-forward, €12/day, DD basso | +| ML01 | Squeeze+GBM | ML | 78.8% | Walk-forward, €8-12/day, DD basso | -Tutte le strategie estendono `src.strategies.base.Strategy` con interfaccia comune: -`generate_signals() → backtest() → report()`. +Per aggiungere una strategia: +1. Crea script in `scripts/strategies/` che estende `Strategy` +2. Aggiungi mapping in `src/live/strategy_loader.py` → `MODULE_MAP` +3. Aggiungi entry in `strategies.yml` per paper trading + +## Multi-Strategy Paper Trader + +Orchestratore che esegue N strategie in parallelo su dati live Cerbero, ognuna con €1000 USDC virtuali indipendenti. + +**Config:** `strategies.yml` — lista strategie con asset, tf, sizing, parametri. +**Persistenza:** `data/paper_trades/{strategy}___{asset}__{tf}/` con `trades.jsonl` (append-only) + `status.json` (resume al restart). +**Hot-add:** aggiungi riga YAML → `docker compose restart` → storico intatto. +**Notifiche:** Telegram per ogni trade (richiede `.env` con `TELEGRAM_BOT_TOKEN` e `TELEGRAM_CHAT_ID`). ## Convenzioni @@ -92,3 +104,4 @@ Tutte le strategie estendono `src.strategies.base.Strategy` con interfaccia comu - **Data leakage:** è stata trovata e corretta nello script 05. Ogni volta che si usano rendimenti logaritmici (`np.diff(np.log(close))`), ricordare che `returns[k]` usa `close[k+1]`. I feature devono fermarsi a `returns[i-2]` se il prezzo corrente è `close[i-1]`. - **Fee:** sempre 0.1% per lato (0.2% round-trip). Includere nel backtest. - **Leva:** testato con 3x. Aumentare a 5x migliora i rendimenti ma raddoppia il drawdown. +- **GBM:** GradientBoostingClassifier di scikit-learn. Ensemble di alberi decisionali sequenziali. Walk-forward per evitare leakage temporale. diff --git a/README.md b/README.md index c34c623..dceaed9 100644 --- a/README.md +++ b/README.md @@ -8,17 +8,18 @@ Partendo da un capitale iniziale di €1.000, raggiungere un profitto medio di ## Risultati -Tredici strategie testate su dati storici 2018–2026 (BTC e ETH, timeframe 5m / 15m / 1h). Le migliori cinque: +Oltre 30 strategie testate su dati storici 2018–2026 (BTC e ETH, timeframe 15m / 1h). Le migliori: -| # | Strategia | Accuracy | ROI annuo | Max DD | €/giorno | -|---|-----------|----------|-----------|--------|----------| -| 1 | ETH 15m Squeeze + ML ibrida | 76.9% | 118% | 4.2% | €13.78 | -| 2 | ETH 1h Squeeze + Vol | 83.9% | 22% | 2.0% | €0.71 | -| 3 | BTC 15m Squeeze + ML ibrida | 78.8% | 69% | 7.0% | €5.51 | -| 4 | ETH 1h Squeeze (BBw=30) | 82.8% | 47% | 3.2% | €1.77 | -| 5 | ETH Walk-Forward ML | 57.7% | 38% | 47% | €3.12 | +| Codice | Strategia | Accuracy | Trades | Max DD | €/giorno | Robustezza | +|--------|-----------|----------|--------|--------|----------|------------| +| SQ02 | Antifake+Vol BTC 15m | **79.7%** | 1250 | 6.5% | €5.23 | ✅ 9/9 anni | +| ML01 | Squeeze+GBM BTC 15m | 79.1% | 1929 | 5.5% | €8.45 | ✅ 5/5 anni | +| SQ02 | Antifake+Vol ETH 15m | 78.6% | 942 | 3.4% | €4.33 | 8/9 anni | +| SQ02 | Antifake+Vol BTC 1h | 78.0% | 473 | 3.5% | €3.85 | ✅ 9/9 anni | +| SQ01 | Squeeze Base ETH 15m | 76.4% | 2948 | 6.2% | €10.31 | 9/9 anni | +| ML01 | Squeeze+GBM ETH 15m | 76.7% | 1210 | 4.2% | €11.12 | 5/5 anni | -La strategia vincente (#1) opera su ETH a 15 minuti con ~1 trade al giorno, leva 3x e drawdown contenuto al 4.2%. +La strategia più robusta (SQ02 BTC 15m) mantiene accuracy ≥73% ogni anno dal 2018 con Sharpe 5.01. ## Come funziona @@ -28,14 +29,14 @@ Il meccanismo centrale sfrutta i cicli naturali di compressione ed espansione de 1. **Compressione** — le Bollinger Bands entrano dentro i Keltner Channel (il prezzo si muove sempre meno, accumulando "energia"). 2. **Breakout** — le bande escono dal canale. Un impulso direzionale parte. -3. **Conferma ML** — un modello GradientBoosting, addestrato su feature strutturali e frattali della finestra precedente, conferma la direzione e filtra i segnali deboli. +3. **Filtri** — anti-fakeout (scarta breakout con retrace >60%) + volume confirmation (breakout >1.3× media). +4. **ML opzionale** — un modello GradientBoosting (GBM), addestrato walk-forward su feature strutturali, conferma la direzione e filtra i segnali deboli. -### Feature frattali +### Feature ML (44 dimensioni) - Rapporti body/shadow normalizzati su finestre multiple (12, 24, 48 candele) - Momentum, volatilità, skewness, kurtosis dei rendimenti logaritmici -- Autocorrelazione lag-1 -- Profilo volumetrico e spike detection +- Autocorrelazione lag-1 e profilo volumetrico - Durata della fase di squeeze e rapporto di espansione Keltner - Posizione del prezzo rispetto al range recente e ATR normalizzato @@ -44,44 +45,121 @@ Il meccanismo centrale sfrutta i cicli naturali di compressione ed espansione de ``` PythagorasGoal/ ├── src/ -│ ├── data/ # Download e gestione dati storici (Cerbero MCP + Binance) -│ ├── fractal/ # Indicatori frattali: Hurst, Higuchi FD, self-similarity -│ ├── backtest/ # Motore di backtesting con fee e metriche -│ ├── strategies/ # (predisposto per strategie modulari) -│ ├── nn/ # (predisposto per reti neurali) -│ └── utils/ -├── scripts/ # Script di analisi e test (01–13) +│ ├── data/ # Download e gestione dati (Cerbero MCP + Binance) +│ ├── fractal/ # Indicatori frattali: Hurst, Higuchi FD, self-similarity +│ ├── backtest/ # Motore di backtesting con fee e metriche +│ ├── strategies/ # Classe base Strategy ABC + indicatori condivisi +│ │ ├── base.py # Strategy, Signal, BacktestResult, YearlyStats +│ │ └── indicators.py # keltner_ratio, detect_squeezes, ema, atr, rv, corr +│ └── live/ # Paper trading live su Deribit testnet +│ ├── multi_runner.py # Orchestratore multi-strategia +│ ├── strategy_worker.py # Worker indipendente con stato persistente +│ ├── strategy_loader.py # Import dinamico classi Strategy +│ ├── cerbero_client.py # Client HTTP per Cerbero MCP +│ ├── signal_engine.py # Squeeze + ML real-time (per ML01) +│ └── telegram_notifier.py +├── scripts/ +│ ├── strategies/ # Strategie attive (SQ01-SQ04, ML01) +│ ├── waste/ # Strategie scartate (W01-W22) +│ └── analysis/ # Script di confronto e report +├── strategies.yml # Config multi-strategy paper trader ├── data/ -│ ├── raw/ # Parquet OHLCV (non committati, ~70 MB) -│ └── processed/ # Modelli salvati +│ └── raw/ # Parquet OHLCV (gitignored, ~70 MB) ├── docs/ -│ └── diary/ # Diario di ricerca giornaliero -├── tests/ -├── pyproject.toml -└── README.md +│ ├── diary/ # Diario di ricerca giornaliero +│ └── specs/ # Specifiche di design +├── Dockerfile +├── docker-compose.yml +└── pyproject.toml ``` +## Strategie attive + +Tutte le strategie estendono `src.strategies.base.Strategy` con interfaccia comune: `generate_signals() → backtest() → report()`. + +| Codice | Script | Tipo | Descrizione | +|--------|--------|------|-------------| +| SQ01 | `SQ01_squeeze_base.py` | Regole | Squeeze breakout puro | +| SQ02 | `SQ02_squeeze_antifake_vol.py` | Regole | Squeeze + antifakeout + volume confirm | +| SQ03 | `SQ03_squeeze_all_filters.py` | Regole | Squeeze + filtri selezionabili (9 preset) | +| SQ04 | `SQ04_squeeze_ultimate.py` | Regole | Combo incrementali con correlazione/trend | +| ML01 | `ML01_squeeze_gbm.py` | ML | Squeeze + GBM walk-forward | + +Per eseguire il backtest di una strategia: + +```bash +uv run python scripts/strategies/SQ02_squeeze_antifake_vol.py +``` + +## Paper Trading Live + +Il multi-strategy runner esegue N strategie in parallelo su dati live da Cerbero MCP, ognuna con €1000 USDC virtuali indipendenti. + +### Avvio + +```bash +# Locale +uv run python -m src.live.multi_runner + +# Docker +docker compose up -d +``` + +### Configurazione + +Le strategie attive sono definite in `strategies.yml`: + +```yaml +defaults: + capital: 1000 + position_size: 0.15 + leverage: 3 + +strategies: + - name: SQ02_antifake_vol + asset: BTC + tf: 15m + enabled: true +``` + +Per aggiungere una strategia: nuova riga in `strategies.yml`, poi `docker compose restart`. Lo storico delle strategie esistenti rimane intatto. + +### Persistenza + +Ogni strategia ha la sua directory in `data/paper_trades/`: + +``` +data/paper_trades/ + SQ02_antifake_vol__BTC__15m/ + trades.jsonl # Storico trade append-only + status.json # Stato corrente (resume al restart) +``` + +Notifiche Telegram per ogni trade (richiede `TELEGRAM_BOT_TOKEN` e `TELEGRAM_CHAT_ID` in `.env`). + ## Setup ```bash -# Clona il repository +# Clona e installa git clone && cd PythagorasGoal - -# Installa dipendenze (richiede uv) uv sync -# Scarica dati storici (~70 MB, richiede connessione) +# Scarica dati storici (~70 MB) uv run python -m src.data.downloader -# Esegui la strategia ibrida vincente -uv run python scripts/13_squeeze_ml_hybrid.py +# Backtest strategia migliore +uv run python scripts/strategies/SQ02_squeeze_antifake_vol.py + +# Paper trading live +uv run python -m src.live.multi_runner ``` ### Requisiti - Python ≥ 3.11 - [uv](https://docs.astral.sh/uv/) come package manager -- Accesso a Cerbero MCP (`cerbero-mcp.tielogic.xyz`) per i dati Deribit, oppure Binance via ccxt come fallback +- Accesso a Cerbero MCP (`cerbero-mcp.tielogic.xyz`) per dati Deribit live +- Docker (opzionale, per deploy su VPS) ## Dati @@ -90,25 +168,7 @@ uv run python scripts/13_squeeze_ml_hybrid.py | BTC | 5m / 15m / 1h | 883K / 294K / 74K | 2018-01 → oggi | | ETH | 5m / 15m / 1h | 882K / 294K / 74K | 2018-01 → oggi | -Fonte primaria: Deribit perpetual via Cerbero MCP. Fallback per il periodo antecedente: Binance spot via ccxt. Formato: Apache Parquet. - -## Strategie testate - -| Script | Approccio | Esito | -|--------|-----------|-------| -| 01 | Pattern candlestick discreti (U/D/0) | Nessun edge | -| 02 | DTW pattern matching | Troppo lento, edge minimo | -| 03 | Proiezione FFT (ispirata al paper) | Random (49.8%) | -| 04 | GBM su feature frattali (Hurst, FD) | 63.6% a soglia 0.65 | -| 05 | GBM multi-window (corretto data leakage) | 58.9% | -| 06 | GBM su feature strutturali normalizzate | 58.6%, +57.5% return | -| 07 | LSTM su sequenze candele | 58.4%, comparabile a GBM | -| 08 | Ensemble multi-timeframe (1h + 15m) | 59.2% (consensus 2/3) | -| 09 | Walk-forward ML | 57.7%, Sharpe 7.4, €3.12/day | -| 10 | Ensemble 5 modelli alta precisione | In corso | -| 11 | **Volatility Squeeze Breakout** | **83.9%**, approccio strutturale | -| 12 | Report finale e simulazione crescita | — | -| 13 | **Squeeze + ML ibrida** | **76.9%**, 118% ann, €13.78/day | +Fonte primaria: Deribit perpetual via Cerbero MCP. Fallback: Binance spot via ccxt. Formato: Apache Parquet. ## Riferimenti