DATI STORICI per Metatrader4: fractal interpolation, scaricamento e importazione

[umbertosm]

Ho preso il csv e caricato in C:\Users\Administrator\AppData\Roaming\MetaQuotes\ Terminal\1DAFD9A7C67DC84FE37EAA1FC1E5CF75\tester\h istory

Non ho mai letto di questa procedura, se te la sei inventata, sicuramente non ha funzionato e Mt4 ha scaricato i dati dal server del broker.
Questo thread ha nei suoi primi post tutta la procedura corretta con immagini su come si importano i dati storici dentro Mt4

[buci]

Ciao,
ho scaricato Tick Downloader ed ho scaricato il 2017 e 2018 con M1 per EUR USD.
Si è creato il csv e una cartella con dentro le sottocartelle.

Ho preso il csv e caricato in C:\Users\Administrator\AppData\Roaming\MetaQuotes\ Terminal\1DAFD9A7C67DC84FE37EAA1FC1E5CF75\tester\h istory

ho fatto partire il tutto e l'analisi è andata a buon fine e dentro la cartella history si è generato un file EURUSD1_0.fxt

Mi è sorto un dubbio.

I dati che MT4 ha preso sono quelli del CSV oppure il software ha scaricato dalla rete i suoi dati?
Perchè io sapevo che i file andavano caricati in formato FXT quindi vorrei essere sicuro che sono stati utilizzati i dati in csv.

Grazie

[babbo78]

se può interessare io uso questo sito per gli storici https://www.backtestmarket.com/it/. I ragazzi che lo gestiscono sono molto disponibili, e i dati mi sembrano di buona qualita' a bassa spesa...

[Nicholas]

avevo visto tickstory , ma lo storico quanto indietro va perche' nella versione lite mi sembra puoi scegliere fino a 5/6 anni, puoi selezionare le date ma non ti dice da quando partono gli storici dei vari cross...e' cosi' grande la differenza tra le due versioni in termini di affidabilita'?

Non lo so ma se devi lavorare seriamente devi pagare le € 28 circa che costa perché altrimenti sei limitato.... che io sappia comunque va molto più in dietro (min. 2008 ma anche più ed è più che sufficiente)...

[alberto7460]

avevo visto tickstory , ma lo storico quanto indietro va perche' nella versione lite mi sembra puoi scegliere fino a 5/6 anni, puoi selezionare le date ma non ti dice da quando partono gli storici dei vari cross...e' cosi' grande la differenza tra le due versioni in termini di affidabilita'?

[Nicholas]

volevo sapere se come fornitori di dati storici ce ne sono altri di affidabili oltre a Dukascopy perche' scaricando le serie storiche da TD ho notato che molto spesso mi appaiono nella finestra log parecchi errori di download oltre ad essere anche lentino (connessione 30 mega 3 ore per 7 anni di storico)
eventualmente se il fornitore di dati non ti permette di modificare il GMT dei file che procedura si puo' utilizzare per risolvere il problema?
[ATTACH=CONFIG]n9527[/ATTACH]

Anche a me lo faceva e l'ho abbandonato concentrandomi su Tickstory ma a pagamento mi raccomando altrimenti non si ha il max es. con la versione Lite non devi avere l'ultima build 1090 della MT4 e io la avevo, in oltre studia tutto il manuale in inglese perché ci sono accortezze che se non usate rischi si non avere ilo massimo....

[alberto7460]

volevo sapere se come fornitori di dati storici ce ne sono altri di affidabili oltre a Dukascopy perche' scaricando le serie storiche da TD ho notato che molto spesso mi appaiono nella finestra log parecchi errori di download oltre ad essere anche lentino (connessione 30 mega 3 ore per 7 anni di storico)
eventualmente se il fornitore di dati non ti permette di modificare il GMT dei file che procedura si puo' utilizzare per risolvere il problema?
tickerror.png

[Nicholas]

I tre file nell'immagine NON vanno mai cancellati, contengono la lista dei simboli Forex e CFD che il broker offre.

Ok! Anche se dopo aver convertito tutti i TF (con lo script Converter) non avevo i file .hst dentro ma avevo altri files di altri cross che sembra riappaiano anche se li cancello... boh..

P.S. non è necessario che fai il quote dell'intero lungo post, ma solo delle poche parole che servono a capire a quale contesto ti stai rivolgendo con il tuo post.

A scusa, non sapevo neanche del problema... vedrò di capire come fare. Grz

[umbertosm]

I tre file nell'immagine NON vanno mai cancellati, contengono la lista dei simboli Forex e CFD che il broker offre.


P.S. non è necessario che fai il quote dell'intero lungo post, ma solo delle poche parole che servono a capire a quale contesto ti stai rivolgendo con il tuo post.

[Nicholas]

umbertosm sai cosa sono questi files che erano insieme ai TF .hst? Dici che posso cancellarli?

La MT4 è diretta da Metaquotes e non da un Broker...
Cattura.PNG

[umbertosm]

devi fare le prove da te, smanettare e verificare, poi ti sarà chiaro

[Nicholas]

Si clicca su Configure e si sceglie lo scostamento (=offset) dell’orario delle candele M1 rispetto all’orario di Greenwich GMT da esportare per fare i backtest con l’orario del proprio broker.

Le due variabili da scegliere per decidere correttamente come esportare i dati sono:
(1) l'orario UTC del broker su cui gira il server di Metatrader4;
(2) il luogo dove il broker ha sede relativamente all'orario del server, per sapere se va considerata anche l'eventuale ora legale (ad esempio in Unione Europea).

L’orario UTC (= Coordinated Universal Time) è il fuso orario di riferimento da cui sono calcolati tutti gli altri fusi orari del mondo; è derivato dal tempo medio di Greenwich (in inglese Greenwich Mean Time, GMT), con il quale coincide a meno di approssimazioni infinitesimali, quindi GMT = UTC.

Ad esempio, per Activtrades, come si può leggere nelle FAQ - LIVE TRADING
https://www.activtrades.it/index.aspx?page=faq
l'orario impostato sulla piattaforma MetaTrader 4 e' il CET (l'orario vigente in Italia).
quindi il setting dell'esportazione sarà come se il server del broker ActiveTrades fosse in Italia:
TIMEZONE: UTC + 1 ORA LEGALE: SI

L’UTC corretto si sceglie nel campo Change timezone
che spesso valorizza automaticamente anche l’ora legale: Daylight savings: Yes

[ATTACH=CONFIG]n1062[/ATTACH]

OK – Export data

[ATTACH=CONFIG]n1063[/ATTACH]

Umbertosm non mi è chiaro il doppio range di dati sia su configure (relativo a Export data) sia su Change download range (relativo a Start Download). Cioè configure serve all'orario e al TF da scegliere però chiede nuovamente le date... e poi Export data a cosa serve e cosa differisce da Star Download? Forse serve a dividere il file in più files... mi sono perso...

[umbertosm]

il problema delle dimensioni del file .FXT pare essere superato negli ultimi anni, come leggi al post #145

[Nicholas]

Inoltre, Metatrader è in grado di leggere un file .FXT fino a 4 GB, dopodiché simula di continuare a fare il backtest, ma non effettua nessuna elaborazione.
Ecco il perché se il Tester genera un file .FXT di dati storici di 6 GB ad esempio,
il backtest dell’EA farà trade soltanto fino ad una certa data e poi non più: il Tester smette di elaborare i dati storici sui cui dovrebbe andare a lavorare il trading system, quando raggiunge la data corrispondente a 4 GB di dati storici dentro il file .FXT


A parità di intervallo di tempo di un backtest, le dimensioni del file .FXT per un backtest EveryTick dipende dal valore del VOLUME che hanno le candele M1, perciò può accadere che

- con soli 2 anni di dati storici si ottiene un file .FXT di 4 GB, quando il volume delle candele M1 è mediamente di 20;

- se invece il volume delle candele M1 è basso, il minor numero di tick dentro le candele M1 permette di poter fare un backtest anche di 4 o più anni, perché il file .FXT si manterrà al di sotto dei 4 GB.

Quindi per capire se il file .FXT supera i 4GB abbiamo 2 modi? 1) se vediamo che il test si interrompe e non procede più avanti; 2) tenendo aperta la cartella tester\history\ e monitorando la dimensione del file creato?

[Nicholas]

Umberto giusto una puntualizzazione (e tra l'altro grazie per l'infinita pazienza).
TickDownloader (dopo aver scaricato i vari dati) estrae e crea in automatico tutti i vari file CSV per ogni TF (dal tick, M1, M5 etc...) permettendo quindi (volendo) di importare tutti i vari TF nel centro storia uno per uno.
Dici che anche facendo cosi può andare o per una maggiore "sicurezza" meglio importare solo M1 e poi generare gli altri usando lo script. (come consigliato da te nel post 3 appunto)

Per la cronaca mentre magari ai tempi dei primi post dava problemi buttando dentro troppi anni tutti insieme io per ora non ho riscontrato problemi buttando dentro in una sola volta 2010-2018 M1.

Mark47 ma i tuoi dati sono belli a vedersi? Io ho provato dal 2003 e, come postato qui, ho degli anni orribili solo a vedere le candele, sarà forse il file troppo grande >4GB! Difatti nella finestra sotto di Tickdownloader ho diversi "data missing" e errori vari... riprovo M1 EURUSD 2008-oggi e poi posto i risultati (scelgo 2008 per l'inizio della crisi, magari i mercati sono un po' cambiati), poi monitoro la dimensione del file e vedo......