MySQL per il Data Warehousing e la Business Intelligence

Secondo Forrester Research, la quantità di dati che le aziende conservano a scopo analitico cresce ogni anno del 50%. In alcuni settori, come per esempio Web, commercio elettronico, distribuzione, telecomunicazioni e amministrazione pubblica, il tasso di crescita è persino maggiore. Soltanto alcuni anni fa, i dati usati per la business intelligence venivano conservati in un data warehouse centralizzato e in pochi data mart dipartimentali. Ora invece la domanda sempre maggiore di dati di business intelligence di buona qualità ha creato una vasta gamma di archivi di dati distribuiti all'interno delle organizzazioni, il che ha aumentato complessità e costi per tutte quelle aziende che desiderano massimizzare l'uso dei dati analitici.

Per risolvere queste problematiche, aziende importanti quali Los Alamos National Labs, MIT Lincoln Lab, Cox Communications ed altre ancora hanno scelto MySQL per le proprie infrastrutture di data warehousing, che sono in costante crescita. Alla luce dell'aumento del ricorso a MySQL nel campo del data warehousing, il Gartner Group ha recentemente incluso MySQL nel suo "Magic Quadrant for Data Warehouse DBMS Servers".

MySQL è studiato per gestire con facilità gli usi più comuni del data warehousing:

• Data mart
• Data warehouse tradizionali
• Data warehouse storici/archivi di grandi dimensioni
• Real Time Data Warehouse

Storage engine nativi

L'architettura "pluggable" dello storage engine MySQL consente di sfruttare motori specifici per migliorare le prestazioni, ridurre i costi di archiviazione dei dati e soddisfare qualsiasi conformità normativa. MySQL raggiunge questi obiettivi grazie a motori sviluppati sia internamente, sia esternamente dai suoi partner. I motori sviluppati internamente da MySQL per il data warehousing includono:

• MyISAM: uno storage engine non transazionale ad alte prestazioni, originariamente sviluppato per le applicazioni di data warehousing. MyISAM è lo storage engine MySQL di default, comunemente usato dai nostri clienti per le applicazioni di data warehousing e reportistica.
• Archive: la conformità a normative quali Sarbanes Oxley, Basel II e altre ancora, ha costretto molte aziende a mantenere enormi quantità di informazioni storiche sui server di database. Le aziende sono dunque alla ricerca di nuovi modi per ridurre la quantità di spazio consumata da questo tipo di dati, che vengono utilizzati soltanto sporadicamente. Lo storage engine Archive di MySQL comprime automaticamente i dati delle tabelle, tipicamente riducendo le dimensioni originarie dei dati al 15-20%.
• Memory: lo storage engine Memory è ideale per le tabelle dimensionali di un data warehouse. In qualsiasi momento, tutti i dati sono conservati nella memoria principale, il che si traduce in tempi di ricerca e di join estremamente rapidi.
• CSV: consente di caricare istantaneamente in MySQL i file di testo in formato delimitato da virgole, referenziandolli via SQL. I dati delle tabelle CSV possono essere modificati attraverso normali operazioni DML, così come attraverso editor esterni.
• Merge: lo storage engine Merge consente di raggruppare le tabelle in una singola unità logica e di accedervi e/o farvi inserimenti come se fossero un unico oggetto.

Storage engine realizzati dai partner MySQL

• BrightHouse di Infobright: BrightHouse consente di eseguire query complesse su terabyte di dati all'interno di soluzioni analitiche di data warehouse. BrightHouse è facile da installare, non richiede la creazione di indici ed è utilizzabile con hardware di largo consumo, quindi garantisce costi di gestione estremamente ridotti. BrightHouse offre anche la compressione dei dati 10:1, che consente di archiviare 10TB di dati grezzi come se fossero 1TB.

Funzionalità principali per il Data Warehousing

Oltre ai vari storage engine, il server di database MySQL contiene varie funzionalità a supporto del data warehousing. Queste funzionalità includono:

• Partizionamento di tabelle e indici (range, hash, key, list, composite) con MySQL 5.1 e versioni successive
• Nessun limite di storage (1 tablespace=110TB), con gestione automatica dello storage
• Replicazione interna
• Supporto degli indici (B-tree, fulltext, clustered, hash, GIS)
• Cache multiple e configurabili per dati/indici
• Precaricamento dei dati nelle cache
• Unica Query Cache (memorizza il set di risultati + la query, non soltanto i dati)
• Caricamento parallelo dei dati
• Multi-insert DML
• Tabelle di sola lettura
• Cost-based optimizer
• Ampio supporto delle piattaforme

Risorse aggiuntive:

Partner tecnologici

• MySQL AB ha siglato partnership con fornitori di ETL, reportistica e BI quali Business Objects, MicroStrategy, Jaspersoft, Pentaho, Talend e Informatica.

White paper

• Enterprise Data Warehousing with MySQL
• Le novità di MySQL 5.1
• Inside MySQL 5.0, a DBA's Perspective

Esperienze di clienti

• Los Alamos National Labs Relies on MySQL to Scale with 7 Terabytes of Data
• Cox Communications Powers Massive Data Warehouse with MySQL
• Fortum Relies on MySQL to Monitor Power Plant in Real Time

Webinar on demand

• Caso di studio: Click Stream Analysis on Terabytes of Data with MySQL and Infobright