Carlo Batini

Modelli per la Qualità dei Dati

Nel Capitolo 2 abbiamo introdotto numerose dimensioni utili per descrivere e misurare la qualita dei dati nei suoi diversi aspetti e significati. Per poter usare i sistemi di gestione delle basi di dati (DBMS) rappresentiamo i dati, e le relative operazioni su di essi, tramite modelli dati e linguaggi di definizione e manipolazione dei dati, e cioe una serie di strutture e comandi che possono essere rappresentati, interpretati ed eseguiti dal computer. Potremmo usare lo stesso processo per rappresentare, oltre ai dati, le loro dimensioni di qualita. Cio significa che per rappresentare la qualita dei dati dobbiamo estenderne i modelli.

Attività e Tecniche Inerenti la Qualità dei Dati: Generalità

Nel Capitolo 1 abbiamo osservato che la qualita dei dati e una nozione sfaccettata e che la pulizia dei dati di cattiva qualita puo essere eseguita misurando dimensioni diverse ed eseguendo varie attivita con diversi obiettivi. Per attivita inerente la qualita dei dati si intende qualsiasi processo che opera direttamente sui dati per migliorarne la qualita. Un’attivita relativa alla qualita dei dati di tipo “manuale” e, per esempio, l’insieme di operazioni che eseguiamo quando abbiamo spedito una e-mail e questa e tornata al mittente perche il destinatario e sconosciuto; controlliamo l’indirizzo esatto in una sorgente attendibile e lo digitiamo con maggiore attenzione, per evitare altri errori. Un esempio di attivita inerente la qualita dei dati “computerizzata” consiste nel confrontare due file che contengono record non accurati allo scopo di trovare record simili che corrispondono alla stessa entita del mondo reale tramite un metodo euristico. Altre attivita per il miglioramento della qualita dei dati operano sui processi; esse saranno discusse e confrontate con le attivita relative alla qualita dei dati nel Capitolo 7.

Dimensioni della Qualità dei Dati

Nel Capitolo 1 abbiamo dato un’idea intuitiva di cosa sia la qualita dei dati ed abbiamo accennato in modo informale a numerose dimensioni di qualita dei dati, come l’accuratezza, la completezza, il livello di aggiornamento, e la coerenza.

Strumenti per la Qualità dei Dati

Nei capitoli precedenti abbiamo visto che misurare e migliorare la qualita dei dati e un processo complesso che richiede un massiccio coinvolgimento di risorse umane. Le tecniche discusse nei Capitoli 4, 5, e 6 sono il punto di partenza per automatizzare il piu possibile le attivita da svolgere nei progetti sulla qualita dei dati. Per raggiungere questo obiettivo, occorre sviluppare strumentie framework che incorporano tali tecniche.

Problemi Inerenti la Qualità dei Dati nei Sistemi di Integrazione dei Dati

Negli ambienti distribuiti, le sorgenti di dati sono tipicamente caratterizzate da vari tipi di eterogeneita che possono essere in generale suddivise in (i) eterogeneita tecnologiche, (ii) eterogeneita di schema e (iii) eterogeneita a livello di istanza. Le eterogeneita tecnologiche sono dovute all’uso di prodotti di diversi fornitori, impiegati a vari livelli di un’infrastruttura di informazione e comunicazione. Un esempio di eterogeneita tecnologica e l’uso di due differenti sistemi di gestione di basi di dati relazionali, come DB2 dell’IBM ed SQL Server della Microsoft. Le eterogeneita a livello di schema sono causate soprattutto all’uso di (i) differenti modelli di dati, come tra una sorgente che adotta il modello di dati relazionali ed un’altra sorgente che adotta il modello di dati XML, e (ii) differenti rappresentazioni dei dati, quali ad esempio il fatto che una sorgente memorizza indirizzi inserendo i dati in un singolo campo mentre un’altra li memorizza usando campi separati per via, numero civico e citta. Le eterogeneita a livello di istanza sono dovute a valori diversi, conflittuali, dei dati forniti da sorgenti distinte per gli stessi oggetti. Questo tipo di eterogeneita puo essere causato da errori di qualita, come errori di accuratezza, completezza, livello di aggiornamento e consistenza; tali errori possono derivare, per esempio, da processi tra loro indipendenti che forniscono dati alle differenti sorgenti.

Metodologie per la Misurazione e il Miglioramento della Qualità dei Dati

Misurare e migliorare la qualita dei dati di una singola organizzazione o di un gruppo di organizzazioni che cooperano e un compito complesso. Nei capitoli precedenti ci siamo occupati delle attivita per il miglioramento della qualita dei dati (Capitolo 4) e delle relative tecniche (Capitoli 4, 5, e 6). Negli ultimi anni abbiamo assistito allo sviluppo di numerose metodologie che possono fornire una base razionale nella scelta ottimale di tali attivita e tecniche. In questo capitolo discutiamo le metodologie per la misurazione e il miglioramento della qualita dei dati (QD) viste da diverse angolazioni. La Sezione 7.1 fornisce il materiale di base, presentando gli input e output tipici delle metodologie, alcune classificazioni, ed infine soffermandosi sul confronto fra le strategie guidate dati e quelle guidate dai processi adottate nel contesto delle varie metodologie. La Sezione 7.2 tratta delle metodologie di valutazione, mentre la Sezione 7.3 si sofferma prima sulla definizione delle fasi metodologiche comuni, quindi descrive e mette a confronto, in relazione a tali fasi comuni, tre delle piu importanti metodologie generali. Nella Sezione 7.4 proponiamo CDQM, una metodologia originale che riunisce in se qualita di completezza, flessibilita e semplicita di applicazione; la Sezione 7.5 e dedicata all’applicazione della metodologia CDQM ad un caso di studio.

Introduzione alla Qualità dei Dati

La ricerca nel Web dell’espressione “qualita dei dati” con il motore di ricerca Google, da un risultato di circa tre milioni di pagine, un indizio del fatto che le tematiche inerenti la qualita dei dati sono una realta e stanno acquistando sempre maggiore importanza (spesso, d’ora in poi, invece dell’espressione qualita dei dati, useremo l’acronimo QD). In questo capitolo specifichiamo i motivi che fanno della qualita dei dati un tema di ricerca da analizzare e capire. Spiegheremo innanzitutto il concetto di qualita dei dati (Sezione 1.1), sottolineandone l’importanza nelle applicazioni concrete ed accennando ad alcune delle principali iniziative intraprese in questo campo nei settori pubblico e privato. Successivamente, nella Sezione 1.2, mostreremo con svariati esempi la natura multidimensionale della qualita dei dati. Le Sezioni 1.3 e 1.4 analizzano i diversi tipi di dati e di sistemi informativi per i quali la QD puo essere studiata. Nella Sezione 1.5, discuteremo i principali problemi di ricerca nel campo della QD, i suoi ambiti applicativi e le aree di indagine correlate. I problemi della ricerca (Sezione 1.5.1) riguardano le dimensioni, i modelli, le tecniche, le metodologie, e gli strumenti; tutti questi aspetti insieme costituiscono l’argomento del resto del libro. L’insieme degli ambiti di applicazione e vasto, poiche i dati e le informazioni sono gli ingredienti fondamentali di tutte le attivita dei singoli e delle imprese. Concentreremo l’attenzione (Sezione 1.5.2) su tre dei piu importanti, l’e-Government, le Scienze della Vita, e il World Wide Web, mettendo in rilievo il ruolo svolto dalla QD in ciascuno di essi. Le aree di ricerca correlate con la QD saranno argomento della Sezione 1.5.3.

Identificazione degli Oggetti

In questo capitolo ci occupiamo dell’identificazione degli oggetti, probabilmente l’attivita relativa alla qualita dei dati piu importante ed il campo di indagine maggiormente esplorato.