StrategyQuant e i software di programmazione genetica di trading system

[umbertosm]

ciao Masino, io non ho mai provato ad importare un indicatore in SQ, quindi ne sai più te di me.

Certo è che l'errore che riscontri NON dipende da SQ, ma da Windows!

Dovresti trovare la procedura per il tuo sistema operativo per cambiare l'attributo da lettura a scrittura: puoi cercare su google, una procedura che non ho provato ma ben descritta e che fa uso di programmini free da installare, la trovi qui:

Vedere e cambiare gli attributi di un file e le proprietà

[rghilardini]

Buongiorno a tutti. Mi chiamo Roberto e dopo anni di attività discrezionale da un anno abbondante mi sto dedicando alla realizzazione di portafogli di trading system automatici, sia per il mercato regolamentato che per quello dei cfd. Per quello che riguarda i CFD da alcune settimane sto utilizzando SQ. L'obbiettivo è quello di realizzare un piccolo portafoglio di strategie decorrelate che lavorino su un paniere diversificato di strumenti. Volevo sapere se ci fosse qualcuno esperto nell'utilizzo di SQ che mi potesse dare una mano e con il quale poter condividere strategie. Grazie mille per l'attenzione!

[BacktestMarket]

Ciao Masino, non ho mai importato un indicatore quindi non saprei come aiutarti. Io e il mio collega Cesare abbiamo dei trading system sulla mt4 con cui tradiamo regolarmente, un paio di mesi fa per ampliare il portafoglio di EA ho testato strategyQuant in prova con grandi aspettative. Purtroppo i risultati di una strategia in backtest su strategyQuant poi non corrispondevano mai, e di tanto, a quelli del backtest sulla metatrader, utilizzando la stessa serie storica e backtestando lo stesso periodo di tempo. Ho scambiato mail con il supporto tecnico ma non siamo riusciti a risolvere, qualcuno ha avuto lo stesso problema?

[umbertosm]

certamente, SQ è purtroppo pieno di bug, me ne lamentavo qui a pagina 7 del thread.

[BacktestMarket]

Ho letto, se non ricordo male infatti stavo cercando di creare creando strategie per h1 con dati a 1 minuto. Forse SQuant non riesce a processare correttamente i dati sotto m30 e dunque vanno usati dati h1 o superiori.

[fsgi]

Cari amici, buon giorno e grazie ad Umberto e tutti quanti per il magnifico thread. Non ho StrategyQuant, e dopo quello che ho letto forse ne faccio anche a meno... Però, al di là del software questo thread è una miniera di “insegnamenti” sull’uso dei genetic algorithms per trovare patterns e sullo sviluppo di sistemi in generale.

Mi intrometto per segnalare due cose:
1. Se andate su questo sito: http://www.fxmath.com/category/free_ea/ trovate centinaia di sistemi creati con StrategyQuant completamente liberi, che si potrebbero probabilmente migliorare/ottimizzare. Qualcuno l’ho guardato in fretta. Quello che mi affascina sono le combinazioni di pattern trovate dall’algoritmo, più che non i risultati finali.

2. Qualcuno di voi ha mai visto questo sito su cui sono “cascato” per caso: https://www.buildalpha.com/? Sapete nulla di questo software, cosa fa in più o in meno rispetto a SQ e quanto costa?

Grazie in anticipo e tanti auguri

Fabio

[umbertosm]

1. Se andate su questo sito: http://www.fxmath.com/category/free_ea/ trovate centinaia di sistemi creati con StrategyQuant completamente liberi, che si potrebbero probabilmente migliorare/ottimizzare. Qualcuno l’ho guardato in fretta. Quello che mi affascina sono le combinazioni di pattern trovate dall’algoritmo, più che non i risultati finali.

:01.smile_80_anim_gi grazie Fabio, si, ho scaricato uno zip e dentro c'è il compilato dell'EA, non il codice sorgente, ma c'è anche il txt dello pseudocodice di StrategyQuant che ti fa capire la logica di apertura/chiusura dei trade.

2. Qualcuno di voi ha mai visto questo sito su cui sono “cascato” per caso: https://www.buildalpha.com/? Sapete nulla di questo software, cosa fa in più o in meno rispetto a SQ e quanto costa?

Non lo conoscevo, leggendo cosa fa e la lista di segnali (https://www.buildalpha.com/signals/) da combinare con algoritmo genetico e gli altri strumenti, mi pare che sia proprio un software come SQ

[DarkHope]

Salve gente, non so se è ancora presente il gruppo Skype da me avviato, se ancora c'è qualcosa possiamo riprendere li, ho letto tutta la discussione, vi assicuro che SQ funziona su qualsiasi timeframe, non genera overfitting (sotto le mani di un esperto), e poiché queste sono solo parole al vento, vorrei mostrarvelo in tempo reale, Umberto fammi sapere, anche con un messaggio privato, come accedere al vecchio gruppo Skype e vediamo di chiarire qualsiasi dubbio :05.wink_80_anim_gif (ovviamente la dimostrazione è aperta a tutti) :04.cool_80_anim_gif

[umbertosm]

Ciao Antony :01.smile_80_anim_gi ben ritrovato!

Allora, il vecchio gruppo Skype non c'è più, la tua lunga assenza come mentore iniziale ha disgregato il gruppo.

Ben lieto se vuoi riaprire una chat di gruppo,
ma ancora meglio sarebbe se vuoi dimostrare con file allegati anche qui nel forum, e con dettaglio, la profittabilità di una strategia su timeframe M5 generata con SQ, che sia profittevole con stessi trade anche su Metatrader4 quando esportata in codice metaquote language 4.

Io e pressoché tutti gli utenti di SQ NON riusciamo ad avere congruenza di risultati:
- o i trade di una strategy di SQ non vengono fatti su Metatrader4,
- o se vengono fatti il backtest è perdente e non dà gli stessi risultati che si ottengono con SQ.

Al di là dell'overfitting, a molte persone che usano SQ interesserebbe generare strategie profittevoli su timeframe inferiore a M30
e quindi sarebbe di grande utilità agli utenti di questo software comprendere COME avere gli stessi risultati ottenibili con SQ anche con il codice esportato su Mt4.

Umberto

[Cray]

Ciao Antony : In gran parte siamo nascosti a lavorare sui nostri dati :30.hi_80_anim_gif:. In questo periodo sono su Python con altre cosette. Spero per te, tutto Ok a Londra... Se vuoi contattarmi sai come fare: Antony, stai provando la versione SQ4? Secondo me ci vuole almeno un altro anno per vederla... Comunque, mi sono fatto una mia idea sulla ricerca genetica con gli indicatori e i patter... Come dice Umberto, è un arte saper usare questi software :01.smile_80_anim_gi ma farli partire sulla MT4 la vedo dura :22.angry_80_anim_gi .
Ben ritrovato e a rileggerci, ciao Maurizio.

[DarkHope]

Ieri ho fatto accesso sul mio vecchio skype, ed ho trovato una miriade di gruppi disgregati con utenti che hanno lasciato e altro, e quindi ho deciso di scrivere qua una semplice dimostrazione di quanto ho detto 2 post sopra.

Piccole premesse obbligatorie, ho ripetuto miliardi di volte che lavorare su timeframe bassi richiede maggiore tempo e maggiori energie, (vostre energie, ma soprattutto potenza computazionale).
Ho visto tantissime persone far girare questo software su portatili comprati nei centri commerciali per 300 euro… e poi si lamentano che non trovano nulla, e grazie e come se tu dessi da svolgere ad un bambino calcoli quantistici… Per finire, dovete spendere in attrezzature per avere un vero ritorno e questo e’ fondamentale, dovete acquistare server, o se non potete permettervelo lo affittate online in remoto per i primi tempi.

Seconda premessa, avrei potuto eseguire questa dimostrazione su qualsiasi lasso temporale (solitamente lo eseguo su vecchissimi dati, tipo 2003-2004, per avere tanti dati futuri) ma poi arriva il sapientone di turno che esclama “eh ma sono dati vecchi e se lo fai adesso non funziona più”, quindi, per evitare questi illustri personaggi ho deciso di svolgere il test adesso, da novembre 2016 a novembre 2017 (contenti?) .

Finite le premesse iniziamo, prima regola fondamentale che dovete tenere a mente, l’overfitting lo create voi e non il software. Dovete istruirlo correttamente, quindi inutile caricare tutti i building blocks, inutile far generare regole lunghe chilometri, semplicità= non overfitting.
Quindi senza fronzoli creiamo strategie solo sul prezzo (niente indicatori a questo giro, ma anche se li voleste usare è inutile inserire tutti gli indicatori, gli indicatori sono classificati sotto diversi tipi e dovete selezionare i corretti ma questo lo approfondirò qualche altra volta)

STRATEGY OPTIONS: Stop Loss? Sempre richiesto se non lo mettete siete solo dei mentecatti e meritate di bruciare i vostri conti. In questo caso io uso solo fixed pips (niente ATR), con un range da 4 a 500 (si gli do tutto il modo di scegliersi i suoi migliori lilvelli)
Replace pending orders sempre selezionato (questione pratica di codice sulla piattaforma del broker che potrebbe giocarvi scherzetti se non selezionate questa opzione)

Siamo su timeframe M5 (bassissimo) e quindi inutile mettere come massimo periodo degli indicatori 5 milioni di barre ahahahah neanche le abbiamo nei dati storici, quindi Max period for indicators 10
Max Period for price patterns 3.

Ovviamente super simmetrica (sia entry che exit rules) e ovviamente both Long & Short.

DATA: Dallo 01.11.2016 al 01.07.2017 (IS:01.11.2016 to 04.05.2017, OOS:04.05.2017 to 01.07.2017)
Test precision: 1 minute data (non abbiamo bisogno di migliore precisione, perche’ non utilizzeremo ordini di tipo enter at stop/limit, profit trailing, stop trailing, che richiedono la precisione real tick per avere dati correti)

BUILDING BLOCKS: Abbiam detto solo prezzi, quindi selezionate, Open, Close, High, Low, (anche gli Heiken), poi selezionate ATR, BAR_RANGE, come operatori selezionate, greater, lower, Logical And, Logical Or, Equals, Not equals, ed in fine tutte le Candle Patterns.

Come ordini di entrata ed uscita, Selezionate Enter at Market, Stop Loss, Profit Target, Move Stop Loss to BE e Exit Rule.

GENETIC OPTIONS: Population size: 50, max generation 100, mutation Probability 10%, crossover 95%
Generate random population, decimation coefficient 1, Start again when finished, restart if fitness of IS (whole) stagnates for 10 generations.

MONEY MANAGEMENT: semplice semplice mettete 100 come capitale iniziale, fixed size Lots 0.01

NO ROBUSTNEST TEST
RANKING OPTIONS:
nelle regole per scartare le strategie inserite, Profit factor <=1.29, Profit factor (OOS) <=1.29
Fitness la migliore e più semplice Return/Drawdown ratio.

Fine niente fronzoli, niente cose complicate. Avviate, riempite il Databank (richiede molto tempo, se avete un DB da 500 strategie dovete farlo riempiere ma non solo, dovete farlo riempire finche’ tutte le strategie abbiano una alta fitness >0.65, in questo caso va più che bene avendo pochi dati nell’history), spostare le strategie trovate in retest e testarle dal 01.07.2017 al 18.11.2017 (e qui abbiamo chiarito il fatto che strategyquant non fa overfitting usato correttamente, e che ha decisamente potere predizionale).

Troverete il 90% delle strategie funzionanti, ora per chi non avesse ancora capito come funziona questo software, vi faccio chiarezza, NON STIAMO CERCANDO UNA STRATEGIA PERFETTA, stiamo cercando un portafoglio ottimale.

Quindi non è finita qua’, dovete creare il portafoglio con il secondo software (QuantAnalyzer) io non l’ho visto fare a nessuno ed è la parte fondamentale perché abbatte tutti i drawdown, vi da modo di calcolare il lottaggio da usare e gestire al meglio il money management.


Aggiungo due screenshot di una strategia generica che trovate con questo workflow (dati di generazione e dati futuri) e aggiungo la strategia stessa se puo' interessare a qualcuno.


Dati di generazione:
past.jpg

Dati Futuri:
Future.jpg

Strategia: Strategy 11.13.zip

Per i mitici sapientoni (si quelli ci sono sempre) non fate caso ai DrawDown, li ho voluti mettere ma sono molto relativi, poiche' grazie ad un portafoglio correttamente diversificato, si abbattono pesantemente. Enjoy.

[umbertosm]

Grazie Antony.

Comunque, come scrivevo prima

il problema NON è l'overfitting,

il problema è l'esportazione di una strategia str da Strategy Quant a Metatrader4 con timeframe M5 o in generale sotto a M30.

Il backtest realizzato con il codice esportato per Metatrader4 effettuato sugli stessi dati storici usati su StrategyQuant, NON realizza la stessa performance che hai con StrategyQuant.

E' tutto qui il problema, NON importa avere strategie profittevoli con SQ (con o senza overfitting), ma riuscire ad avere su timeframe bassi (come M5) la stessa performance che una strategy ha con SQ, anche con il codice ottenuto esportando la strategy per Metatrader4,

perché è Metatrader4 quello che conta alla fine, in quanto si trada con soldi reali con Metatrader4 e non con SQ!

L'overfitting non è un problema, il problema è che il codice esportato su Mt4 dà risultati diversi da quello che si ottiene con SQ.

Se non ci aiuti a risolvere questa incongruenza, non ne verremo mai a capo,
ti ho chiesto infatti di fornirci anche il backtest con Mt4, oltre che con SQ: con SQ riusciamo ad ottenere prestazioni notevoli anche con M5 e M15, ma quando esportiamo per Metatrader4, la performance diventa perdente o priva di trade.

[DarkHope]

Ok non avete affinita' di backtest tra SQ e Metatrader, capito, pero' continuo a restare allibito, ho appena letto il tuo post, allora ho aperto la strategia che ho postato, sia con SQ e sia generando i dati con metatrader, al volo, senza perderci neanche troppo tempo, e questo e' il risultato:

compare.jpg

Come vedi la strategia e' pressocche' identica, inoltre se differisce e' davvero di poco visto che non ho fatto un retest su metatrader con 99% di precisione, ma solo 90%, ma non ne avevo bisogno in questo caso, l'ho fatto solo per farvi vedere che sono veramente simili. Per i megasapientoni che supporranno che si tratti di strategie diverse, ho solo cambiato l'asse x che prima era riferita al tempo e adesso l'ho dovuta mettere in numero di operazioni per avere un vero confronto con metatrader che ha come asse x solo il numero di trade.

Provare per credere, ho postato la strategia appositamente, potete tranquillamente aprirla su SQ, prendere il codice e testarlo su metatrder voi stessi. Per altre domande sono a vostra completa disposizione.

[maurice]

Ciao DarkHope,

concordo pienamente sull'approccio "antifuffa" ovvero no indicatori AT et similia; un po meno sull'uso di OHLC visto che High e Low sono broker sensitive.. ma questa è solo la mia opinione
Operare in Open con i dati Open e Close delle barre precedenti permette di evitare molte illusioni e - aggiungo - visto che Close(-1) è spesso uguale a Open(0) lo stesso Open sembra essere del tutto inutile..
Sto esagerando ?
E' un approccio troppo "Talebano" ? (non nel senso islamico neeh :01.smile_80_anim_gi..)

Può darsi.. ma venendo da programmi "antichi" come Metastock e Tradestation mi sono abituato a considerare rumore tutto quello che non è Close

Per tentare di rispondere nel merito anche a Umberto ipotizzo che un EA sotto H1 risenta pesantemente delle modalità di entrata e uscita , su MT4 uso solo operatività "Once per bar" quindi in apertura di barra per aprire l'ordine e chiusura a stop/target ; questo permette di avere - sempre - risultati se non coincidenti molto simili in "punti di controllo" e "tick by tick"
Non uso backtest in tickby tick per lo stesso motivo, ben sapendo che in fondo l'adagio "garbage in, garbage out" incombe sui risultati forward.

Ho una licenza Pro di SQ64 (sono fermo alla 3.8.1.. e non credo farò l'aggiornamento per ora..) ma non ho nessun risultato in real, lo uso solo per fare ricerche veloci sulle basi dati

Concordo infine con il tuo obiettivo: avere un portafoglio efficiente, non un sistema con PF stellare o rapporto win/DD illusorio.

Buona domenica

[DarkHope]

Hai ragione sul fatto che idati sono broker sensitive, ma attenzione, non importa nel nostro caso, come puoi vedere su, ho fatto il test su metatrader con dati che non centravano nulla, e come puoi immaginare non c'e' stata cosi' grande differenza, inoltre le strategie che trovate devono essere robuste, cioe' devono essere profittevoli anche con leggeri cambiamenti del mercato (compreso il cambio di dati da un broker ad un altro) altrimenti stiamo parlando di una strategia overfitted sui dati di generazione e che non predice un bel nulla. Poi comunque se vuoi oeprare con Open e Close solamente va piu' che bene, solitamente le persone si fissano sulla regola di entrata, quando non ha proprio tutto sto peso, figuratevi che io ho strategie dentro i miei vari portafogli che hanno come regola di entrata TRUE, cioe' sempre attivo, sempre a mercato. Quello che conta e' la gestione del rischio e della volatilita' sul mercato, cioe' anche solo il metodo di uscita fa la differenza.
Come mai non sei passato alla 3.8.2?