Starten met Infobright
-
Upload
daan-blinde -
Category
Self Improvement
-
view
344 -
download
1
description
Transcript of Starten met Infobright
Starten met Infobright (open source versie 3.2)
Daan Blinde, 7 november 2009
OPEN SOURCE DOWNLOADS :
http://www.infobright.org/Download/ICE/
Mijn installatie InfobrightMIJN DOWNLOADS :
Link naar MySQL tools
Configuratie / InstellingenLaptop Acer Aspire 77203 GB internCore 2 Duo processor T5550 1,83 GHz
BRIGHTHOUSE.INIServerMainHeapSize= 900# ServerMainHeapSize - Size of the main memory heap in the server process, in MB
ServerCompressedHeapSize= 300# ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB.
LoaderMainHeapSize= 340# LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.
1. Maak extract uit Datawarehouse
Met Header werkte het laadscript niet bij mij.
5 jaren :
- 12,3 GB- 30 miljoen rijen- 40 kolommen
Maak met Pentaho Data Integration een nieuwe Transformatie
2a. Laad tekst files in Infobright
Infobright is een storage engine op MySQL
load data infile 'c:/data/dwh/f_verrichtingen_2009.txt' into table if_verrichtingen fields terminated by ';' enclosed by '"';
2b. Laad tekst files in Infobright
Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho
LET OP: belangrijk om de engine INFOBRIGHT te kiezen !
Laadtijd : 2 uur 15 min.
3. Laadtijd
Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/
Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !
Laadtijd tekstbestanden naar mysql : 8 uur !
4. Compressie
Compressie : De bestandscompressie die wordt toegepast is enorm.Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !)
Grootte = 777 MB
Compressie standaard mysql opslagVoor alleen 2009= 9 MBTotaal zou dit neerkomen op 6 GB(dit is 50% van oorspronkelijke omvang)
5. Query performance
• Wordt vervolgd !