Walk Forward Analysis

[Cristian]

Sottoscrivo in pieno!!
Questo forum è davvero utile, complimenti in paticolar modo ad Umberto, è una persona disponibile e preparatissima!!! :65.muscle_80_anim_g:65.muscle_80_anim_g

[andy60rm]

eeeeeeh, ma usare bene questi software è quasi un'arte, bisogna configurare per bene i blocchi di pattern da cercare, saper usare i test di robustezza, e walk forward analysis, saper validare un trading system e infine costruire i portafogli di trading system che siano scorrelati nella equity.

Ci si perde molto tempo e solo dopo una lunga gavetta, pare da chi ho conosciuto, finalmente si comincia a guadagnare realmente.

Io ho iniziato a studiare questo approccio soltanto da pochi mesi ed in modalità part time, per cui sono ancora in progress :16.dull_80_anim_gif

a disposizione per creare un gruppo di lavoro

[Masino]

grazie Umberto; sto seguendo con molta attenzione tutto il forum, nel tentativo di riuscire a costruire un EA da ottimizzare con la tecnica del WF.
trovo interessante tutte le pubblicazioni, nonostante sia un neofita.
ho scaricato la versione "prova" della SQ nella speranza di riuscire a capire le operazioni di base da effettuare, seguendo le preziose indicazioni che hai gentilmente offerto in questo stimatissimo post.

Tra l'altro ho anche avuto modo di costatare che l'interfaccia del software ha anche la lingua italiana, rendendo molto più agibile la lettura delle diverse voci sulle svariate maschere.
complimenti.

un sincero saluto a tutti, Massimo.

[auato]

Ciao a tutti. Nella formula per calcolare la WFE riportata come:


ho sempre trascurato il rapporto tin/tout e l'annualizzazione del profitto. In pratica il software che uso, cioè Multicharts, non effettua automaticamente il calcolo WFE a seguito di una WFA. Io ho quindi sempre fatto il calcolo manualmente semplicemente riducendolo come il rapporto tra "average trade out" / "average trade in". Quindi, prendevo semplicemente l'average trade IS e OOS che mi restituiva il mio software Multicharts dopo la WFA per ogni WFT e non moltiplicando per il rapporto temporale tra IS e OOS.
Secondo voi è comunque corretto?

Volendo introdurre questo rapporto temporale nella formula per il calcolo WFE come faccio? Avendo utilizzato i giorni per decidere IS e OOS, divido il numero di giorni Tin per il numero di giorni Tout?

Grazie a tutti.

Ciro

[umbertosm]

ciao Ciro, la Walk Forward Efficiency è un concetto che può essere calcolato come uno meglio vuole, è un rapporto tra la performance del trading system nel periodo Out Of Sample e la performance nel periodo In Sample.

Io calcolo la WFE con questo rapporto:

(profitto totale OOS / numero mesi OOS) / (profitto totale IS / numero mesi IS)

Ad esempio se il periodo IS è di 1 anno (12 mesi) e l'OOS è di 3 mesi,
se in 1 anno la mia ottimizzazione mi dà una Total Profit di 12.000
e nel periodo OOS di 3 mesi il setting ottimizzato mi dà un Total Profit di 1.500

la WFE = (1.500/3) / (12.000/12) = 500 / 1000 = 0.5 = 50%

[auato]

Grazie mille Umberto, chiarissimo! Sto trovando qui tutte le risposte ai miei dubbi sulla WFA che non ero riuscito a chiarire in due anni di letture varie e disorganiche sulla rete. Incredibile!

[MatteoP]

Ciao a tutti, mi sapete indicare un link dove si spieghi perchè un TS con una WFE maggiore è più robusto di uno con WFE minore?
Non considero la WFE e ho dei dubbi sul fatto che abbia un qualche valore in quanto non elimina il problema più grande della wfa che è l'introduzione del bias statistico dovuto alla la scelta del periodo OOS e di quello IS, ma mi piacerebbe approfondire.
Grazie in anticipo

[umbertosm]

ciao Matteo, a fondamento della WF Efficiency c'è l'ipotesi che un setting ottimizzato possa essere profittevole sui dati futuri in una percentuale simile al passato perché si ritiene che le dinamiche di mercato siano state individuate dal trading system e quindi sia possibile prevedere alcune dinamiche dello stesso mercato anche nel futuro, con un setting ottimizzato sui dati storici.

Inoltre, la teoria ritiene che un setting ottimizzato sia meno profittevole sui dati OOS rispetto ai dati IS, in quanto le dinamiche del passato sono mappate al massimo dal setting ottimizzato del trading system, mentre sui dati OOS il futuro aleatorio presenterà delle fasi di mercato non verificatesi nel passato dei dati IS.

Più grande è il numero di anni dei dati IS e maggiore è la probabilità di individuare tutte le possibili fasi di mercato dello strumento finanziario scelto, nella speranza che il futuro dei dati OOS contenga quasi tutte le dinamiche di mercato già verificatesi nel passato, che il setting ottimizzato del trading system è stato in grado di gestire profittevolmente.
Al tempo stesso non "si deve" esagerare con il numero di anni perché si ipotizza che i dati futuri OOS presenteranno dinamiche di mercato simili agli ultimi anni immediatamente precedenti e quindi potrebbe essere poco utile individuare un setting profittevole 10 anni fa, perché questo bloccherebbe le potenzialità del setting di individuare altre dinamiche di mercato più vicine ai dati futuri recenti.

E' tutto un ragionamento di buon senso per chi vuol credere alla Walk Forward Analisys, ma d'altronde tutta l'idea di trarre profitto dal mercato finanziario si basa sul prevedere il futuro ed il futuro non è prevedibile e di conseguenza qualsiasi teoria è pura teoria indimostrabile.

Qualsiasi teoria che si propone di prevedere il movimento futuro del mercato è per definizione indimostrabile, perciò se non credi alla WFA è inutile far polemica.

[MatteoP]

Ciao Umberto, infatti è il buon senso con vedo nella WFE.
Il suo valore non muta in base al numero dei trade ma è il rapporto tra profitto medio per trade IS e OOS. Il che non mi sembra particolarmente utile.
In base alla tua formula la WFE è uguale a 1 quando ha un profitto medio per trade OOS uguale a quello IS non riesco a capire come questo possa essere indice di robustezza di un TS.
Il valore che la WFE può variare da - infinito a + infinito (potresti avere 0 trade nel periodo IS e 1 trade in OOS)

Non capisco perchè dovrei preferire un TS con WFE= 1 rispetto a uno che ha 0,8 o viceversa. Quindi mi sono chiesto se c'era qualche link che potesse farmi capire meglio, tutto qua.

Ciao e Auguri

[maurice]

Ciao Umberto, infatti è il buon senso con vedo nella WFE.
...
Non capisco perchè dovrei preferire un TS con WFE= 1 rispetto a uno che ha 0,8 o viceversa. Quindi mi sono chiesto se c'era qualche link che potesse farmi capire meglio, tutto qua.
Ciao e Auguri

Ciao Matteo,
premetto che - per mia scelta - un qualsiasi trading system che non abbia almeno un centinaio di trades/anno (se testato negli ultimi 4 anni) non lo considero statisticamente validato (per quanto occorrer possa... )
Quindi vedo fuori luogo - senza polemica alcuna beninteso - la pretesa di considerare il WFE come unico descrittore della bontà di un TS
Oltre al rapporto Return/MaxDrawdown sul periodo OOS/IS mi piace osservare lo scostamento medio anno/anno dei risultati (standard deviation) ma è solo una ulteriore indicazione oggettiva sull'andamento peraltro grossolanamente visibile sull'equity
Il WFE non è la panacea universale o l'Oracolo di Obama ma ti "racconta" quanto hai fittato il tuo TS sul passato e lo fa con un numerino, tutto qui..

Auguri a te ed a tutto il forum

maurizio

[MatteoP]

Ciao Maurizio grazie degli auguri. Ricambio.
Ci mancherebbe polemizzare su queste cose. Lo si fa per confrontarsi ed è per questo che ho chiesto dei link per approfondire.
Condivido praticamente tutto quello che dici tranne sul significato della WFE. Secondo me quel numero non dice proprio nulla; è sbagliato. Non vedo nessuna correlazione tra robustezza di un TS e il valore della WFE.
Aiutami a capire perchè un TS con WFE = 2 a parità di altri parametri, debba essere meglio di uno con WFE= 0.5
Possiamo inventarci anche la WFC (Walk Forward Coherence) ottenuta confrontando UI (ulcer Index) IS e l'UI OOS. E avrei fatto le stesse osservazioni e sollevato gli stessi dubbi.

[auato]

Io opero così:
verifico la profittabilità del mio EA
- su diverse finestre temporali di dati storici (2, 3, 4 anni con IS 80% - OOS 20%, IS 60% - OOS 40%, IS 50% - OOS 50%)
- e con diverse combinazioni di variabili da ottimizzare:
se ottengo sempre risultati negativi sui dati OOS, semplicemente butto via l'EA o lo modifico nella sua logica: non funzionerà in reale e non lo uso.

Umberto, e se per esempio il risultato risulta buono solo con IS 60% - OOS 40% mentre non tanto con 80-20% e 50-50% come consideri l'ea?

Il mio sistema con 7 anni di storico a 5 minuti sul miniFib aveva una buona equity ma appena l'ho messo live, l'equity si è appiattita in orizzontale da un anno e mezzo a questa parte (e mi ritengo fortunato che sia rimasta in orizzontale, lasciandomi intendere che c'è ancora qualcosa di buono e magari è da migliorare). equ.PNG



Adesso che ho capito meglio come sfruttare la WFA e calcolare la WFE ho provato un prima analisi con IS 80% - OOS 20% (13 WFT) ma non ha dato risultati molto incoraggianti per tutti i WFT... addirittura ho % negative:

	number of months IS	number of months OOS	WFE (Net Profit)	WFE (gross profit)	max DD <150%
WFT1 >	24	6	89%	101%	OK
WFT2 >	24	6	-17%	51%	NO
WFT3 >	24	6	19%	71%	OK
WFT4 >	24	6	6%	58%	OK
WFT5 >	24	6	-15%	68%	OK
WFT6 >	24	6	20%	86%	OK
WFT7 >	24	6	89%	100%	NO
WFT8 >	24	6	-11%	73%	NO
WFT9 >	24	6	168%	122%	OK
WFT10 >	24	6	139%	137%	OK
WFT11 >	24	6	-81%	52%	NO
WFT12 >	24	6	4%	57%	OK
WFT13 >	24	5	16%	43%	OK

Dovrei capire adesso se proseguire con altre WFA facendo altre prove e modificando le % tra IS e OOS (per esempio provare anche la 60-40 e 50-50) o provare a cambiare direttamente qualcosa nel codice per dargli un maggiore grado di libertà con meno variabili e quindi meno probabilità di overfitting.

Accetto qualunque consiglio/suggerimento.

Grazie mille,
Ciro

[umbertosm]

se per esempio il risultato risulta buono solo con IS 60% - OOS 40% mentre non tanto con 80-20% e 50-50% come consideri l'ea?

Se funziona IS 60% - OOS 40% scegli questo.
Se non funziona 80-20% e 50-50% semplicemente non usare questi range.

ho provato un prima analisi con IS 80% - OOS 20% (13 WFT) ma non ha dato risultati molto incoraggianti per tutti i WFT... addirittura ho % negative:

Ma mica tutti i test OOS di una WFA devono essere vincenti: hai 9 test OK e 4 NO, quindi va bene.
Spannometricamente per me il test è teoricamente superato, in reale non aspettarti di vincere sempre, il trading system avrà dei periodi di drawdown che però nel passato ha dimostrato di recuperare sempre facendo nuovi massimi di equity line.

Ultimamente io non faccio più di 3 cicli di test IS - OOS; se 2 su 3 vengono superati metto l'EA in live

[auato]

Ciao Maurizio grazie degli auguri. Ricambio.
Ci mancherebbe polemizzare su queste cose. Lo si fa per confrontarsi ed è per questo che ho chiesto dei link per approfondire.
Condivido praticamente tutto quello che dici tranne sul significato della WFE. Secondo me quel numero non dice proprio nulla; è sbagliato. Non vedo nessuna correlazione tra robustezza di un TS e il valore della WFE.
Aiutami a capire perchè un TS con WFE = 2 a parità di altri parametri, debba essere meglio di uno con WFE= 0.5
Possiamo inventarci anche la WFC (Walk Forward Coherence) ottenuta confrontando UI (ulcer Index) IS e l'UI OOS. E avrei fatto le stesse osservazioni e sollevato gli stessi dubbi.

Ciao Matteo, e come valuteresti allora l’efficienza di una EA a seguito di WFA?

[CavaliereVerde]

Contrariamente a quel che dice il sacro testo di Pardo le WFE secondo me non sono mai molto elevate.
Io ottimizzo e riottimizzo live da due anni ormai, coi backest sono sempre su un profit factor di 1,4 , live faccio i salti di gioia se arrivo a 1,15 .
Ma sono soddisfatto perchè i sistemi più longevi su myfxbook non passano 1,25 .
http://www.myfxbook.com/members/auto...vision/1489427