Walk Forward Analysis

[MatteoP]

Ciao Autao
Qualsiasi decisione prendi nello sviluppo di un TS, a partire da quale strumento scegli su cui fare trading, il timeframe che scegli, ti "avvicina" all'overfitting, cioè introduce del "bias". La cosa è indipendente dal fatto se il periodo di una media mobile è fisso o ottimizzato se scegli un parametro introduci un potenziale overfitting e, purtroppo, non esiste un indicatore, e neanche un panel di indicatori che indichino che un TS è più robusto di un altro.

Questo è cruciale. La dimostrazione di quanto affermo è semplice: se esistesse questo indicatore/i si potrebbe costruire un generatore di strategie che ricerca il più robusto dei sistemi: il sacro graal.... Ecco spiegati i miei dubbi sulla wfe.

Quando determini la durata del training di un TS (IS) e uno di Test OOS,introduci due parametri nel tuo TS.
Trattali come tali, quindi scegli il periodo IS e OOS che sono più "robusti" cioè che al variare di poco dei loro valori, l'efficacia del tuo TS non varia di molto.

Su tutto ti consiglio http://www.financial-hacker.com/, drammatico il suo approccio, l'ho odiato quando un TS di cui andavo fiero con un AR intorno al 100% ottenuto in rigoroso OOS è crollato a un 24% dopo aver applicato l'oversempling della curva dei prezzi... Build Better Strategies, la sua serie di post mi è servita molto a razionalizzare il mio sviluppo di TS, quel poco che riesco a fare nel poco tempo...

Spero do aver risposto alle tue domande.Ciao

[auato]

Grazie Matteo, quindi il bias statistico è presente in qualunque caso di ottimizzazione su una serie storica? Possiamo dire che è come una inevitabile distorsione introdotta da una qualsiasi ottimizzazione , sia essa semplice che con WFA o con altri metodi? Come valuti l’efficacia della parte OOS comparata alla IS? Ho capito che la WFE non è l’unico e preferito parametro.
Io lavoro con il miniFib a 5 minuti e ho uno storico di 7 anni che però usato tutto rende le simulazioni lunghe e snervanti ... (mi viene il dubbio che magari è inutile e depistante utilizzare tutta questa storia con granularità a 5 min). Voi, in un caso simile, quanto intervallo IS utilizzereste?

Gracie ancora

[umbertosm]

dalla mia esperienza, io uso questi range di dati storici:
con 5 minuti bastano 2 anni
con 15 minuti 3 anni
con M30 e H1 4 anni

La mia opinione è che andare troppo indietro non aiuta a mappare nei setting ottimizzati le dinamiche recenti di movimento di mercato,
che poi sono quelle che mi aspetto di trovare nei dati di mercato futuri

[auato]

Grazie Umberto! Lo sospettavo anche io. Utilizzerò il tuo suggerimento di 2 anni, allora. Grazie sempre per la cortese disponibilità.

[MatteoP]

Grazie Matteo, quindi il bias statistico è presente in qualunque caso di ottimizzazione su una serie storica? Possiamo dire che è come una inevitabile distorsione introdotta da una qualsiasi ottimizzazione , sia essa semplice che con WFA o con altri metodi? Come valuti l’efficacia della parte OOS comparata alla IS? Ho capito che la WFE non è l’unico e preferito parametro.
Io lavoro con il miniFib a 5 minuti e ho uno storico di 7 anni che però usato tutto rende le simulazioni lunghe e snervanti ... (mi viene il dubbio che magari è inutile e depistante utilizzare tutta questa storia con granularità a 5 min). Voi, in un caso simile, quanto intervallo IS utilizzereste?

Gracie ancora

Introduci un bias anche solo "osservando" un evento. Non si tratta di un principio statistico, ma fisico. Il problema è capire quanto questo bias impatti sul sistema osservato e, come ti ho detto, che io sappia non esiste nessun indicatore che te lo dica. L'unico modo è adottare delle Best Practice che lo riducano al minimo, ma, alla fine se il TS funziona o meno lo decide il mercato.

La WFA non introduce nessun Bias. La WFA verifica quanto la selezione di certi parametri funziona su un campione di dati non utilizzato per il training.
Lavoro sul 4H il mio TS ha buone performance su un periodo di 16 settimane OOS (ma ha buoni risultati anche su 10, 20 e 24 settimane OOS) pari al 20% del set di dati di training. Questo testato su 12 cicli di wfa.

Il training e il test OOS del TS è ripetuto su una set di dati shackerato mediante 4 cicli di oversampling per evitare ulteriormente il rischio di overfitting. Il processo completo di training e test per un TS composto da circa 100 strategie dura circa 4 ore su un PC paragonabile al tuo

Ciao

[CavaliereVerde]

Concordo con Umberto.
Molto dipende anche dalla "cadenza di fuoco" del TS.
Magari una strategia su m5 è talmente schizzinosa da tradare una volta a settimana.
Io opero su m15 e h1, uso 2 anni per m15 e 4 per h1 .
Tendenzialmente sono soddisfatto se il mio campione statistico contiene almeno 250 trades.
Oltre 400 trades l'errore statistico si riduce molto poco e quindi non vale la pena incrementare, anzi poi si rischia di accanirsi nella fase di ottimizzazione e se ci si si deve accanire troppo si ottiene un overfit.

[dMan]

Ciao a tutti,

Scusate ma non ho capito se la wfa la eseguite a mano, oppure usate qualche software.
Tra i software citati SQ sembra ottimo, ma non è free. Ho trovato questo http://www.easyexpertforex.com/ lo consigliate?
Eventualmente mi date qualche suggerimento?

Grazie 1000

Ciao
Cristian

Dato che il nostro esperto umbertosm ha detto che quel software è ben fatto, ho pensato di scaricarlo qualche giorno fa dal sito.
Ora però, da un paio di giorni, vedo che il sito è offline.
Non so se verrà rimesso online o no, quindi, dato che è gratuito ed è possibile scaricarlo liberamente, lo carico anche qui su questo forum in caso qualcuno volesse usarlo.
Ops, vedo ora che non è possibile caricare files, lo metto sul mio dropbox
Ciao

[maverik64]

Buonasera, volevo segnalare che è staro reso di nuovo disponibile free il programma Walk Forward Analyzer sul sito: http://www.easyexpertforex.com/.

Buongiorno a tutti,
questo software per la Walk Forward non va altre il 31-12-2020, voi cosa state utilizzando attualmente?

[umbertosm]

Io ho abbandonato la walk forward analisys, le dinamiche di mercato cambiano troppo spesso per poterle individuare con un piccolo set di variabili da modificare periodicamente.

[maverik64]

Io ho abbandonato la walk forward analisys, le dinamiche di mercato cambiano troppo spesso per poterle individuare con un piccolo set di variabili da modificare periodicamente.

Ciao Umberto,
grazie per la risposta, quindi, se posso chiedertelo, tu come ti comporti?

[maverik64]

Buonasera a tutti,
Umberto non si è pronunciato , voi come vi comportate?

[umbertosm]

Ciao Umberto,
grazie per la risposta, quindi, se posso chiedertelo, tu come ti comporti?

scusami Maverik ... mi ero dimenticato dopo aver letto ...
Allora, io continuo ad usare la walk forward analisys, ma non posso usare il software suddetto in quanto permette di ottimizzare poche variabili dovendo fare tutto in una unica sessione.
Il software si prende il suo tempo e fa tutto subito, in tot ore senza possibilità di interrompere e fare altre ottimizzazioni per ogni periodo di analisi.
Poiché io ottimizzo tante variabili, gli orari, lo stoploss, il takeprofit, e molto altro, ho bisogno di più tempo e vari cicli di ottimizzazione, per ogni intervallo di dati storici.
Quindi io faccio tutto da me manualmente: ad esempio prendo 4 anni di storico e inizio ottimizzando i primi 2 anni più antichi;
faccio tutte le mie ottimizzazioni secondo una logica e poi verifico nell'anno seguente il test forward.
Se va bene, replico la stessa logica di ottimizzazione negli ultimi due anni di dati storici e mando l'EA ottimizzato in real.