feat(analysis): trades_status.py — report stato trades con POOL reale vs PAPER-STATS separati

La dir e' la fonte di verita': portfolio_paper/ = pool (ledger/equity), portfolio_paper_stats/
= TR01/ROT02/TSM01/XS01 solo statistica. Niente piu' glob su portfolio_paper* (matchava
entrambi -> +8.15 XS01 sim attribuiti per sbaglio all'equity il 2026-06-17). Mostra realizzato
POOL + unrealized aperti e riconcilia con Δequity del ledger. Caveat + comando in CLAUDE.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
Adriano Dal Pastro
2026-06-17 15:17:50 +00:00
parent aee53161c3
commit 3a66907f43
2 changed files with 165 additions and 0 deletions
+9
View File
@@ -98,6 +98,7 @@ uv run python scripts/analysis/regime_fetcher.py # fetch DVOL+funding
uv run python scripts/analysis/exit_lab.py # (ri)costruisci cache segnali exit-lab + parity check uv run python scripts/analysis/exit_lab.py # (ri)costruisci cache segnali exit-lab + parity check
uv run python -m src.live.dashboard --port 8787 # dashboard web (servizio compose 'dashboard', porta 8787) uv run python -m src.live.dashboard --port 8787 # dashboard web (servizio compose 'dashboard', porta 8787)
uv run python scripts/analysis/ledger_vs_backtest.py --since 2026-06-13 # report fuga di esecuzione (reale vs sim) uv run python scripts/analysis/ledger_vs_backtest.py --since 2026-06-13 # report fuga di esecuzione (reale vs sim)
uv run python scripts/analysis/trades_status.py [--since ISO] # report "stato trades": POOL reale vs PAPER-STATS, realizzato + unrealized
./scripts/deploy.sh [patch|minor|major] # DEPLOY: bump versione + commit + rebuild Docker ./scripts/deploy.sh [patch|minor|major] # DEPLOY: bump versione + commit + rebuild Docker
uv run pytest # test uv run pytest # test
``` ```
@@ -594,6 +595,14 @@ long A / short B sullo z-score del log-ratio, fee su 2 gambe).
- **Fee:** Deribit perp reale = taker ~0.05%/lato (**0.10% round-trip**), maker ~0%. Usare 0.10% RT come baseline (lo 0.20% storico era pessimista 2x). Includere SEMPRE nel backtest: sono vincolo di prim'ordine, molte operazioni = morte per fee. Il worker usa `strategy.fee_rt` (MR01 = 0.001). - **Fee:** Deribit perp reale = taker ~0.05%/lato (**0.10% round-trip**), maker ~0%. Usare 0.10% RT come baseline (lo 0.20% storico era pessimista 2x). Includere SEMPRE nel backtest: sono vincolo di prim'ordine, molte operazioni = morte per fee. Il worker usa `strategy.fee_rt` (MR01 = 0.001).
- **Leva:** testato con 3x. Aumentare a 5x migliora i rendimenti ma raddoppia il drawdown. - **Leva:** testato con 3x. Aumentare a 5x migliora i rendimenti ma raddoppia il drawdown.
- **GBM:** GradientBoostingClassifier di scikit-learn. Ensemble di alberi decisionali sequenziali. Walk-forward per evitare leakage temporale. - **GBM:** GradientBoostingClassifier di scikit-learn. Ensemble di alberi decisionali sequenziali. Walk-forward per evitare leakage temporale.
- **Report "stato trades" — separare SEMPRE pool reale e paper-stats.** La directory è la
fonte di verità: `data/portfolio_paper/` = sleeve nel POOL (capitale reale, muovono
equity/conto); `data/portfolio_paper_stats/` = TR01/ROT02/TSM01/**XS01** in SOLA statistica
(PnL a precisione frazionaria, MAI nel ledger). **NON** fare glob su `portfolio_paper*`
(matcha entrambi → gli utili sim dei paper-stats inquinano il realizzato: errore reale del
2026-06-17, +8.15 XS01 attribuiti per sbaglio all'equity). Verità aggregata = ledger PORT06
(`equity`, `total_capital`; unrealized = equitytotal_capital). Usare
`scripts/analysis/trades_status.py` (riconcilia: realizzato POOL + Δunrealized ≈ Δequity).
- **Cerbero `get_historical` (fix 2026-05-28):** `end_date` come data nuda è inclusivo dell'intera giornata fino all'ultima candela chiusa (es. `end=oggi` arriva fino ad ora, non più a mezzanotte); accettati anche timestamp con orario (`...T14:00:00`, naive=UTC); nessun cap a ~5000 righe (paginazione interna). Il client passa già `end=oggi`, ora corretto. Prima del fix il paper trader restava a zero trade perché il feed era fermo a mezzanotte. - **Cerbero `get_historical` (fix 2026-05-28):** `end_date` come data nuda è inclusivo dell'intera giornata fino all'ultima candela chiusa (es. `end=oggi` arriva fino ad ora, non più a mezzanotte); accettati anche timestamp con orario (`...T14:00:00`, naive=UTC); nessun cap a ~5000 righe (paginazione interna). Il client passa già `end=oggi`, ora corretto. Prima del fix il paper trader restava a zero trade perché il feed era fermo a mezzanotte.
- **Dati ETH Deribit 15m:** 14-30%/anno di candele *flat* (O=H=L=C, volume 0, run fino a ~54h) per bassa liquidità del perpetuo. Verificato (2026-05-28): escluderle NON cambia i backtest (Δacc ≤0.5pp) → edge robusto. Resta un caveat operativo (slippage/fill in trading reale, irrilevante per paper). BTC pulito eccetto picco ~8% nel 2024. - **Dati ETH Deribit 15m:** 14-30%/anno di candele *flat* (O=H=L=C, volume 0, run fino a ~54h) per bassa liquidità del perpetuo. Verificato (2026-05-28): escluderle NON cambia i backtest (Δacc ≤0.5pp) → edge robusto. Resta un caveat operativo (slippage/fill in trading reale, irrilevante per paper). BTC pulito eccetto picco ~8% nel 2024.
- **FEED TESTNET INAFFIDABILE — `ETH-PERPETUAL` inverse CONGELATO (2026-06-13).** Il feed di - **FEED TESTNET INAFFIDABILE — `ETH-PERPETUAL` inverse CONGELATO (2026-06-13).** Il feed di
+156
View File
@@ -0,0 +1,156 @@
"""Report "stato trades" — separa SEMPRE pool reale e paper-stats, e mostra sia
realizzato che unrealized. Verita' aggregata = ledger PORT06; il dettaglio per-trade
viene dai worker dir.
Fonte unica della separazione (NON la memoria — qui ho gia' sbagliato una volta
includendo XS01 nell'equity):
data/portfolio_paper/ -> POOL REALE (nel ledger, muove l'equity/il conto)
data/portfolio_paper_stats/ -> PAPER-STATS (solo statistica, MAI nel ledger)
Uso:
uv run python scripts/analysis/trades_status.py # ultime 24h
uv run python scripts/analysis/trades_status.py --since 2026-06-16T14:00
"""
import argparse
import datetime as dt
import glob
import json
from pathlib import Path
DATA = Path("data")
POOL_DIR = DATA / "portfolio_paper"
STATS_DIR = DATA / "portfolio_paper_stats"
LEDGER = DATA / "portfolios" / "PORT06" / "status.json"
EQUITY = DATA / "portfolios" / "PORT06" / "equity.jsonl"
def _closes(worker_dir: Path, since: dt.datetime):
"""CLOSE events dei worker in worker_dir dal momento `since`."""
out = []
for f in sorted(glob.glob(str(worker_dir / "*" / "trades.jsonl"))):
name = Path(f).parent.name
for line in open(f):
try:
d = json.loads(line)
except json.JSONDecodeError:
continue
if d.get("event") != "CLOSE":
continue
try:
t = dt.datetime.fromisoformat(d.get("ts", ""))
except ValueError:
continue
if t < since:
continue
# PnL che conta: reale se eseguito (real_truth), altrimenti il sim/pnl
real = d.get("real_pnl")
real = real if real is not None else d.get("pnl", 0.0)
out.append({
"ts": d.get("ts", "")[:19], "name": name, "reason": d.get("reason"),
"held": d.get("bars_held"), "pnl": d.get("pnl"),
"real": d.get("real_pnl"), "sim": d.get("sim_pnl"), "eff": real or 0.0,
})
return sorted(out, key=lambda r: r["ts"])
def _open_positions(worker_dir: Path):
out = []
for f in sorted(glob.glob(str(worker_dir / "*" / "status.json"))):
d = json.load(open(f))
if d.get("in_position"):
out.append({
"name": Path(f).parent.name, "dir": d.get("direction"),
"entry": d.get("entry_price"), "held": d.get("bars_held"),
"real": d.get("real_in_position"),
})
return out
def _equity_at(since: dt.datetime):
"""Equity piu' vicino (e <=) a `since`, per il Δ della finestra."""
base = None
if not EQUITY.exists():
return None
for line in open(EQUITY):
try:
d = json.loads(line)
t = dt.datetime.fromisoformat(d["ts"])
except (json.JSONDecodeError, KeyError, ValueError):
continue
if t <= since:
base = d["equity"]
else:
break
return base
def main():
ap = argparse.ArgumentParser()
ap.add_argument("--since", default=None,
help="ISO (es. 2026-06-16T14:00). Default: 24h fa.")
args = ap.parse_args()
now = dt.datetime.now(dt.timezone.utc)
if args.since:
since = dt.datetime.fromisoformat(args.since)
if since.tzinfo is None:
since = since.replace(tzinfo=dt.timezone.utc)
else:
since = now - dt.timedelta(hours=24)
led = json.load(open(LEDGER))
equity = led["equity"]
cap = led["total_capital"]
unreal = equity - cap
eq_base = _equity_at(since)
ver = Path("VERSION").read_text().strip() if Path("VERSION").exists() else "?"
print(f"STATO TRADES — v{ver}{now:%Y-%m-%d %H:%M} UTC (finestra dal {since:%Y-%m-%d %H:%M})\n")
# ---- aggregato (ledger = verita') ----
print("LEDGER PORT06 (verita' aggregata)")
print(f" equity = {equity:.2f}")
print(f" capitale realizz.= {cap:.2f}")
print(f" unrealized aperti= {unreal:+.2f} (equity - capitale; pos. aperte mark-to-market)")
print(f" peak {led.get('peak'):.2f} maxDD {led.get('max_dd')}%")
if eq_base is not None:
print(f" Δ equity finestra= {equity - eq_base:+.2f} ({eq_base:.2f} -> {equity:.2f})")
# ---- POOL REALE ----
pool = _closes(POOL_DIR, since)
s_real = sum(r["eff"] for r in pool)
wins = sum(1 for r in pool if r["eff"] > 0)
print(f"\n=== POOL REALE (muove l'equity) — {len(pool)} chiusure, {wins}W/{len(pool)-wins}L ===")
for r in pool:
tag = "LOSS" if r["eff"] < 0 else "win "
print(f" {r['ts']} {tag} {r['name']:36} {str(r['reason']):11} "
f"real={r['real']} sim={r['sim']}")
print(f" Σ REALIZZATO POOL = {s_real:+.2f}")
op = _open_positions(POOL_DIR)
if op:
print(f" posizioni aperte ({len(op)}):")
for p in op:
d = {1: "long", -1: "short"}.get(p["dir"], "?")
print(f" {p['name']:36} {d:5} entry={p['entry']} held={p['held']} "
f"real={'Y' if p['real'] else 'sim'}")
# ---- PAPER-STATS ----
stats = _closes(STATS_DIR, since)
s_stats = sum(r["eff"] for r in stats)
print(f"\n=== PAPER-STATS (solo statistica — NON tocca equity/conto) — {len(stats)} chiusure ===")
for r in stats:
print(f" {r['ts']} {r['name']:36} pnl={r['pnl']}")
print(f" Σ PAPER-STATS = {s_stats:+.2f} <- ignorare per l'equity")
# ---- riconciliazione ----
print("\nRICONCILIAZIONE")
print(f" realizzato POOL {s_real:+.2f} + Δunrealized aperti ≈ Δ equity finestra")
if eq_base is not None:
residuo = (equity - eq_base) - s_real
print(f" Δequity {equity - eq_base:+.2f} - realizzato {s_real:+.2f} = "
f"{residuo:+.2f} (= Δunrealized + ribilanci/timing)")
print(f" paper-stats {s_stats:+.2f} NON incluso (book in sola simulazione).")
if __name__ == "__main__":
main()