VALUTAZIONE di Trading System in EXCEL: AverageTrade, Prof Factor, Ulcer index, StDev

[MatteoP]

L'oversampling, non si usa quando si hanno a disposizione pochi dati storici, ma quando il TS genera poche trade nel periodo di test (il periodo di test è sempre definito dal trader).
Per seguire la tua metafora non è come cucinare patate in modo diverso, ma come cuocere patate di dimensioni un po' diverse in forni diversi per individuare il tempo di cottura ideale che permetta di avere il mglior compromesso per patate di dimensioni paragonabili, ma non uguali.

Per quanto riguarda l'inutilità dei backtest IS non è una mia opinione, è dimostrato che non forniscono alcuna informazione utile a prevedere come il TS si comporterà OOS. Quando prendiamo un TS e lo testiamo OOS otteniamo le prime informazioni utili.

La prova è semplice prendere un TS a piacere, fare il backtest che venga bello profittevole, (niente griglie o martingale pls) e poi fare una WFA dello stesso TS anche su solo 4-5 cicli. comporre e confrontare i risultati.... Con MT4 ci si mette un pò. L'ho fatto su poco meno di una decina di TS semplici perché, come te, non ci credevo, poi ho desistito.

Non esisono equity curve nel mondo reale che lontanamente si avvicinano a quelle mostrate nei post precedenti, sopratutto su un solo strumento. Sono solo il frutto di oversampling.

my 2 cents

[umbertosm]

L'oversampling non l'ho mai considerato uno strumento utile: è un collage di ritagli di dati storici, una sorta di patchworking, per inventarsi dinamiche di prezzo distorte, che nel caso migliore sono una ripetizione di quelle già testate e nel caso peggiore sono fasi di mercato inventate e non rispondenti alla reale dinamica del mercato dello strumento finanziario che si sta studiando.
Questa pratica si usa quando si hanno a disposizione pochi dati storici, in maniera tale da poter avere una numerosità sufficiente per poter trarre conclusioni...
ma se il proprio trading system realizza pochi trade... si cambi il trading system o si aumenti il range di dati storici per avere le effettive dinamiche del mercato.

E' un po' come se uno deve valutare la bontà dei cibi in generale e si hanno a disposizione soltanto "patate": ti cucini le patate al forno, le patate al cartoccio, le patate arrosto, le patate bollite: le assaggi e dai un giudizio... ma sempre e solo patate sono, non sono certo rappresentative del cibo in generale!

La teoria che squalifica i dati IS è una tua opinione,
- se i dati OOS sono sicuramente fondamentali per capire se si è fatto overfitting sui dati IS,
- l'analisi dei dati IS e le statistiche che se ne possono trarre, sono un faro fondamentale per capire quanto delle dinamiche di mercato dello strumento finanziario sono individuabili dal proprio trading system.

[MatteoP]

I dati live sono, per definizione OOS.
L'oversampling non è un palliativo, ma un modo per generare delle curve dei prezzi con caratteristiche simili a quella originale in modo da effettuare il training in situazioni differenti ed individuare il set di parametri più robusto. L'oversampling si fa sui dati di training non su quelli di test, quindi il test OOS avviene in "tutte le fasi di mercato (laterale, trend) tipiche della propria dinamica dello strumento finanziario".
In generale effettuare un WFA con oversampling genera risultati meno "buoni" rispetto a una WFA "base", ma statisticamente più rubusti.
Valutare la bontà di un TS su un backtest effettuato su dati IS non da alcuna informazione relativa alla sua efficacia in reale. Vale invece il contrario se il TS non è profittevole usando li stessi dati di training e di test, non sarà sicuramente profittevole OOS. Poi ovviamente uno fa quello che gli pare

[umbertosm]

I discorsi fatti per misurare la bontà di un trading system valgono sia per i dati LIVE, come resoconto della propria operatività, sia per i dati In Sample, sia per i dati Out Of Sample.
Ogni periodo di dati ha una sua valenza statistica, come usare queste informazioni è un altro discorso.

L'oversampling è un palliativo perché l'uso di un breve periodo di tempo di dati storici reali, che viene virtualmente aumentato, NON permette di testare l'EA su tutte le fasi di mercato (laterale, trend) tipiche della propria dinamica dello strumento finanziario ... si finisce nel aumentare i trade e trovare le inefficienze del mercato caratteristiche del breve periodi dei pochi dati storici.
Un EA va testato sull'effettivo movimento di mercato che si è avuto nella realtà, altrimenti il live bastona al primo cambio fase di mercato.

[MatteoP]

Attenzione! : I discorsi fatti per la misurazione della bontà di un TS valgono solo se il test è fatto su una porzione di dati OOS. Non se si fa un test sulla stessa porzione di dati utilizzati per il training. In questo caso tutto quanto scritto NON vale

AndreaTrade
Il problema della numerostà del trade nel periodo di test può essere mitigato utilizzando la tecnica dell'oversampling della curva dei prezzi. In questo modo è più facile ottenere un numero di trade dignitoso in un periodo di test anche ridotto. In pratica, visto che eseguo sempre e solo WFA sui miei TS, l'utilizzo di questo tecnica la trovo indispensabile. Lavoro con una finestra di test oos di 19 settimane e difficilmente arrivo a 20 trade. Quindi vado di oversampling.

Ciao

[umbertosm]

Con il trading la statistica è spannometrica per definizione.
L'evoluzione dei prezzi è un processo stocastico e quindi ogni decisione che prendiamo sul trading è sempre un'approssimazione un po' azzardata, perché ipotizziamo che ci sia una movimento non casuale e periodico che ci permetta di individuare dove potrebbe andare il prezzo con un certo grado di probabilità.

Fatta questa premessa, il numero minimo di trade di un backtest considerato accettabile per fare analisi statistiche deriva da un teorema della teoria della probabilità: il Teorema del Limite Centrale (=TLC)

Il TLC afferma che la distribuzione della somma di un numero n "grande" di variabili aleatorie indipendenti e dotate della stessa distribuzione (come possono essere considerati i risultati dei singoli trade di un backtest o la variazioni dei prezzi degli strumenti finanziari, come azioni, futures, valute, commodities) tende ad essere distribuita normalmente al crescere di n, indipendentemente dalla distribuzione delle singole variabili.

La distribuzione normale, o di Gauss (o gaussiana) dal nome del matematico tedesco Carl Friederich Gauss, è una distribuzione di probabilità continua che è spesso usata come prima approssimazione per descrivere variabili casuali a valori reali che tendono a concentrarsi attorno a un singolo valor medio. Il grafico della funzione di densità di probabilità associata è simmetrico e ha una forma a campana, nota come Campana di Gauss.

Anche se i dati non sono distribuiti in maniera normale come nel caso dei trade di un backtest o le variazioni dei prezzi delle azioni, un campione scelto casualmente di n unità scelte (con n “grande”) a caso dalle N unità della popolazione, fornisce dei valori distribuiti normalmente al quale si potranno applicare le regole statistiche.

Il termine "grande" è relativo: tanto più la distribuzione della popolazione è diversa dalla normale, tanto maggiore deve essere la dimensione n del campione affinché sia sensato applicare il TLC.

La regola euristica è che un campione con n>= 30 sia sufficientemente grande da giustificare l'applicazione del TLC.

......................

Questa è la teoria... in pratica io, indipendentemente dal numero di anni del backtest, non considero un backtest statisticamente significativo se non ha prodotto almeno 100 trade, e naturalmente più ne ha e meglio è.

Avere 150 trade fatti in 5 anni per me è sufficiente per provare a tirar su delle conclusioni, anche se il sistema fa pochi trade all'anno e quindi sarà molto noioso star lì a cercare in reale la condizione su cui entrare.

C'è poi tutta una lunga discussione accademica/pratica sul fatto che aumentando il numero di variabili oggetto di ottimizzazione, è necessario aumentare il numero di trade per evitare l'overfitting... ma qui si apre un discorso infinito :16.dull_80_anim_gif

[AndreaTrade]

Spero di non essere fuori tema ma avrei un paio di domande :

1. Il numero minimo di trade è 30 o 300 ? E in quanto tempo ?
2. Se ho un numero di trade intorno ai 120- 150 in 5 anni è sufficiente per poter dare un giudizio ?
3. Se utilizzando qualche strumento di analisi ( tipo StrategyQuant ) scopro che eliminando alcune fasce orarie il profict factor aumenta
considerevolmente stò facendo overfitting ( devo scartare questo tipo di soluzione per aumentare la performance del trading system )?

grazie , Andrea

[umbertosm]

Ecco il backtest di un EA su EURUSD che realizza moltissimi trade in 5 anni: 3158 trade

Elaborando il file con Excel, tutti i risultati coincidono eccetto il drawdown, in quanto Metatrader4 lo calcola al tick ed è quindi il valore corretto,
mentre Excel soltanto a chiusura dei trade, avendo soltanto questi dati a disposizione: comunque il valore elaborato in Excel anche se inferiore, è sufficientemente valido per effettuare i calcoli dei parametri di sintesi.

Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: sul valore di soglia minima di 1,5 :012.WAsmile: : tenendo conto dell'elevato numero di trade, il valore 1.48 è molto buono.

Ulcer index: valore medio, indica (vedi il primo post del thread) che tra profondità del drawdown e il tempo impiegato per chiuderlo, un medio rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :015.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia per considerare sufficientemente tradabile la strategia (ricavato dagli studi di Van Tharpe sull'SQN, vedi i vari post di questo thread per la trattazione): una volatilità dei rendimenti eccessiva :013.WAsmile:

max stagnazione in trade: 391, cioè il drawdown più lungo ha impiegato ben 391 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line: un tempo troppo lungo per impiegare questo EA, a meno di non inserirlo in un portafoglio di innumerevoli trading system, come poi è la soluzione ottimale per ricavare soldi dal trading automatico.

°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°

Di seguito lo stesso EA ma ottimizzato su GBPUSD

I risultati sono in linea con quanto performa su EURUSD

Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: sul valore di soglia minima di 1,5 :012.WAsmile:

Ulcer index: valore basso, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia per considerare sufficientemente tradabile la strategia: una volatilità dei rendimenti eccessiva :013.WAsmile:

max stagnazione in trade: 505, cioè il drawdown più lungo ha impiegato ben 505 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line: un tempo troppo lungo per impiegare questo EA, a meno di non inserirlo in un portafoglio di innumerevoli trading system, come poi è la soluzione ottimale per ricavare soldi dal trading automatico.

°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°

Infine, facciamo un portafoglio dei due EA cioè consideriamo insieme su uno stesso conto i trade sia su EURUSD che GBPUSD.

In Excel unisco i trade dei due backtest in ordine di data, come si vede nella figura seguente con le colonne "data" e "valuta"




Si ottengono questi parametri di sintesi

Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: sul valore di soglia minima di 1,5 :012.WAsmile:

Ulcer index: valore medio, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un medio rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :015.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia per considerare sufficientemente tradabile la strategia: una volatilità dei rendimenti eccessiva :013.WAsmile:

max stagnazione in trade: 437, cioè il drawdown più lungo ha impiegato ben 437 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line: un tempo troppo lungo per impiegare questo EA, a meno di non inserirlo in un portafoglio di innumerevoli trading system, come poi è la soluzione ottimale per ricavare soldi dal trading automatico.


Conclusione: Il portafoglio evidenzia che i trade dei due EA su EURUSD e GBPUSD sono abbastanza correlati:
- i parametri di sintesi non variano significativamente rispetto ai backtest di ciascuna coppia di valute
- il drawdown è quasi il doppio di quello di ciascun backtest, confermando che quando l'EA perde, tende a farlo su entrambe le valute nello stesso periodo di tempo.
- al tempo stesso però la max stagnazione in trade non aumenta, anzi si riduce rispetto al backtest su GBPUSD, evidenziando che le fasi di drawdown prolungate non si sovrappongono.

Poiché comunque entrambi i backtest sono vincenti, se si individuano altri EA con performance scorrelata, possono entrare a far parte di un paniere di EA da mettere live.

[umbertosm]

Di seguito la valutazione dei backtest di due strategie, che lavorano entrambe su H1, su 4 anni di dati storici dal 2012 a fine 2015.


Strategia R
Il numero di trade è molto basso per una significatività statistica, quasi 100 trade sono pochini.
Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: ben superiore alla soglia minima di 1,5 :012.WAsmile:

Ulcer index: abbastanza basso, indica (vedi il primo post del thread) poco tempo per chiudere il drawdown e quindi un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sopra il valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia (ricavato dagli studi di Van Tharpe sull'SQN, vedi i vari post di questo thread per la trattazione): una gestibile volatilità dei rendimenti :012.WAsmile:

max stagnazione in trade: 16, cioè il drawdown più lungo ha impiegato 16 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line.









°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°


Strategia T

Il numero di trade è sufficientemente elevato per una significatività statistica, quasi 300 trade.
Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: superiore alla soglia minima di 1,5 :012.WAsmile:

Ulcer index: medio, indica (vedi il primo post del thread) un po' di tempo per chiudere il drawdown e quindi un medio rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :016.WAsmile:

Average Trade / Deviazione standard: quasi al valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia (ricavato dagli studi di Van Tharpe sull'SQN, vedi i vari post di questo thread per la trattazione): una gestibile volatilità dei rendimenti :016.WAsmile:

max stagnazione in trade: 41, cioè il drawdown più lungo ha impiegato 41 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :013.WAsmile:

[umbertosm]

Oggi introduco una nuova variabile di sintesi per valutare un trading system, la Stagnazione.

La stagnazione o durata di un drawdown (drawdown duration) o time between peaks è il tempo che intercorre tra due massimi consecutivi di una equity line o curva cumulativa dei profitti.
In un backtest la massima stagnazione o max drawdown duration è la durata più lunga tra tutte le stagnazioni avvenute, è il periodo più lungo che impiega la strategia per riuscire a fare un nuovo massimo sulla equity line.

Come misura del tempo può essere usato anche il NUMERO DI TRADE che intercorre tra due massimi successivi :
in un backtest la massima stagnazione può essere misurata come il numero massimo di trade necessari affinché la equity line recuperi un drawdown e raggiunga un nuovo massimo.
Il drawdown associato alla max drawdown duration non è necessariamente il max drawdown che determina la maggiore perdita sul mercato, ma soltanto il drawdown più lungo in termini di tempo.


Per la spiegazione delle altre variabili di sintesi, vi rimando al primo post

Di seguito una nuova strategia sul DAX, lungo un arco temporale di 15 mesi (da giugno 2014 a settembre 2015)
applicata con diversi takeprofit, in misura crescente.

Ciascuna strategia (identica ma con takeprofit diversi) viene individuata con la dicitura 2BAR, 3BAR e 4BAR.

In giallo le variabili di sintesi che io considero le più importanti per la valutazione.

I grafici presentano anche la retta di regressione della equity line = linea di tendenza lineare della equity line.



°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Strategia 2BAR:
Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: quasi sulla soglia minima di 1,5 :016.WAsmile:
Ulcer index: molto superiore allo zero, indica (vedi il primo post del thread) un elevato tempo per chiudere il drawdown e quindi rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :013.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia (ricavato dagli studi di Van Tharpe sull'SQN, vedi i vari post di questo thread per la trattazione); statisticamente significa che se consideriamo i 2/3 di tutti i trade del backtest, il profit/loss intorno al valor medio dei trade (77,73), sia in positivo che in negativo, può oltrepassare anche 6 volte (=1/0,16 = StdDev/AveTr) il valor medio dei trade, implicando quindi una eccessiva volatilità dei rendimenti :013.WAsmile:

max stagnazione in trade: 36, cioè il drawdown più lungo nel periodo dei 15 mesi ha impiegato ben 36 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :013.WAsmile:







°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Strategia 3BAR:
Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: sulla soglia minima di 1,5 :016.WAsmile:
Ulcer index: superiore allo zero ma non eccessivamente :016.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia; implica una eccessiva volatilità dei rendimenti :013.WAsmile:

max stagnazione in trade: 29, cioè il drawdown più lungo nel periodo dei 15 mesi ha impiegato 29 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :013.WAsmile:






°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Strategia 4BAR:
Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: quasi sulla soglia minima di 1,5 :016.WAsmile:
Ulcer index: superiore allo zero ma non eccessivamente :016.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia; implica una eccessiva volatilità dei rendimenti :013.WAsmile:

max stagnazione in trade: 35, cioè il drawdown più lungo nel periodo dei 15 mesi ha impiegato 35 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :013.WAsmile:








°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Avendo quindi verificato che la scelta del takeprofit (piccolo, medio o grande) influisce poco sulla robustezza della strategia, ho preso quella comunque più performante, la 3BAR
ed ho verificato la strategia per soli trade BUY e per soli trade SELL.

°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Strategia 3BAR BUY:
Average trade elevato, molto superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, superiore a 3 :012.WAsmile:
Profit factor: ben superiore alla soglia minima di 1,5 :012.WAsmile:
Ulcer index: superiore allo zero ma non eccessivamente :016.WAsmile:

Average Trade / Deviazione standard: quasi al valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia; appena sufficiente volatilità dei rendimenti :016.WAsmile:

max stagnazione in trade: 16, cioè il drawdown più lungo nel periodo dei 15 mesi ha impiegato 16 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :016.WAsmile:






°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

Strategia 3BAR SELL:
Average trade basso, dell'ordine di misura dello slippage medio: :013.WAsmile:
Net Profit / MaxDD: basso, inferiore a 3 :013.WAsmile:
Profit factor: sotto la soglia minima di 1,5 :013.WAsmile:
Ulcer index: molto elevato :013.WAsmile:

Average Trade / Deviazione standard: molto sotto il valore di soglia di 0,25 per considerare sufficientemente tradabile la strategia; implica una eccessiva volatilità dei rendimenti :013.WAsmile:

max stagnazione in trade: 32, cioè il drawdown più lungo nel periodo dei 15 mesi ha impiegato 32 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line. :013.WAsmile:

[umbertosm]

no problem Davide
lasciamolo qui,
pubblicalo tu se vuoi in quell'altro thread
o aprine uno tutto nuovo

[fuzzytrade]

Ok Umberto, se vuoi rimuoverlo allora e spostarlo nell'altro post. Scusa per l'out.:non sono stato io:

[umbertosm]

Davide, questo thread è dedicato all'analisi di un trading system con la statistica che Excel permette di elaborare, "VALUTAZIONE di Trading System in EXCEL"

se vuoi un commento qualitativo su un trading system con position sizing "a martingala" allora dovresti postare il tuo trading system in un'altra discussione, come quella aperta da serzac72, Martingala

[fuzzytrade]

Ciao Umberto, il sistema lavora esclusivamente su eurusd. nel test è stato considerato uno spread di 2 pips per trade.

In particolare, senza entrare nel dettaglio di ogni singola operazione, non voglio darti troppo lavoro, i punti focali su cui ti chiedo parere sono il DD max e se la questione della chiamiamola "martingala" al raddoppio può avere un senso oppure se è pratica come dire "sconsigliabile".

Inoltre noterai che i trade vincenti sono nell'ordine del 70% ma che mediamente quando va a target guadagna meno rispetto alla perdita quando va in stop: questa cosa può costituire una fragilità nel sistema stesso?

Grazie Umberto.

[umbertosm]

Davide, se alleghi l'HTML dello statement con tutti i 240 trade si può calcolare meglio le grandezze di sintesi.

Altrimenti rimangono soltanto quelle del report di Metatrader.

Poi, qual è la coppia di valute su cui ha girato il backtest? che spread hai inserito?