La mineria de dades (data mining) és un procés no trivial d'identificació d'informació vàlida, nova, potencialment útil i entenible, de patrons comprensibles que es troben ocults en les dades.Fayyad i altres, 1996 Engloba tot un conjunt de tècniques encaminades a l'extracció de coneixement processable, implícit en les bases de dades. Està íntimament lligat a la supervisió de processos industrials, ja que resulta molt útil per aprofitar les dades emmagatzemades a les bases de dades. Les bases de la mineria de dades es troben en la intel·ligència artificial i en l'anàlisi estadística. Mitjançant els models extrets utilitzant tècniques de mineria de dades s'aborda la solució a problemes de predicció, classificació i segmentació de memòria.

Procés Un procés típic de mineria de dades consta dels següents passos generals:

Selecció del conjunt de dades, tant en el que es refereix a les variables objectiu (aquelles que es volen predir, calcular o inferir), com a les variables independents (les que serveixen per fer el càlcul o procés), com possiblement al mostreig dels registres disponibles. Anàlisi de les propietats de les dades, en especial els histogrames, diagrames de dispersió, presència de valors atípics i falta de dades (valors nuls). Transformació del conjunt de dades d'entrada: es realitzarà de diverses formes en funció de l'anàlisi prèvia, amb l'objectiu de preparar-ho per aplicar la tècnica de mineria de dades que millor s'adapti a les dades i al problema. A aquest pas també se'l coneix com a preprocessament de les dades. Seleccionar i aplicar la tècnica de mineria de dades: es construeix el model predictiu, de classificació o segmentació. Extracció de coneixement: mitjançant una tècnica de mineria de dades, s'obté un model de coneixement que representa patrons de comportament observats en els valors de les variables del problema o relacions d'associació entre aquestes variables. També poden usar-se diverses tècniques al mateix temps per a generar diferents models, encara que generalment cada tècnica obliga a un preprocessat diferent de les dades. Interpretació i avaluació de dades: un cop obtingut el model, s'ha de procedir a la seva validació comprovant que les conclusions que llança són vàlides i prou satisfactòries. En el cas d'haver obtingut diversos models mitjançant l'ús de diferents tècniques, s'han de comparar els models a la recerca d'aquell que correspon millor al problema. Si cap dels models assoleix els resultats esperats, cal alterar algun dels passos anteriors per generar nous models.

Si el model final no supera aquesta avaluació, el procés es podria repetir des del principi o, si un expert ho considera oportú, a partir de qualsevol dels passos anteriors. Aquesta retroalimentació es podria repetir les vegades que es considerés necessari fins a obtenir un model vàlid.

Un cop validat, el model estarà a punt per a la seva explotació.

Fonaments de la mineria de dades Les tècniques de Data Mining són el resultat d'un llarg procés d'investigació. Aquesta evolució va començar quan les dades de negocis van ser emmagatzemades per primera vegada en computadores, i va continuar amb millores en l'accés a les dades, i més recentment amb tecnologies generades per a permetre als usuaris navegar a través de les dades en temps real. És possible aplicar la mineria de dades actualment gràcies a tres tecnologies que ja estan bastant madures: Recol·lecció massiva de dades Potents computadores amb multiprocessadors Algorismes de Data Mining

Fases d'un projecte de mineria de dades Els passos a seguir per a la realització d'un projecte de mineria de dades són sempre els mateixos, independentment de la tècnica específica d'extracció de coneixement usada.

El procés de mineria de dades passa per les següents fases: Filtrat de dades. Selecció de variables. Extracció de coneixement: mitjançant una tècnica de mineria de dades, s'obté un model de coneixement que presenta patrons de comportament observats en els valors de les variables del problema o relació d'associació entre les dites variables. També poden utilitzar-se diverses tècniques a la vegada per generar diferents models, encara que generalment cada tècnica obliga a fer un preprocessat diferent. Interpretació i avaluació.

Protocol d'un projecte de mineria de dades Un projecte de mineria de dades té diverses fases necessàries que són, essencialment:

- Comprensió del negoci i del problema que es vol resoldre.

- Determinació, obtenció i neteja de les dades necessàries.

- Creació de models matemàtics.

- Validació, comunicació, etc. dels resultats obtinguts.

- Integració, si escau, dels resultats en un sistema transaccional o similar.

La relació entre totes aquestes fases només és lineal sobre el paper. En realitat, és molt més complexa i amaga tota una jerarquia de subfases. A través de l'experiència acumulada en projectes de mineria de dades s'han anat desenvolupant metodologies que permeten gestionar aquesta complexitat d'una manera més o menys uniforme. Exemple d'ella és CRISP-DM, es creu que SEMMA és una metodologia SAS declara en la seva pàgina que aquesta NO és una metodologia

Tècniques de mineria de dades Com ja s'ha comentat, les tècniques de la mineria de dades provenen de la Intel·ligència artificial i de l'estadística; aquestes tècniques, no són més que algorismes, més o menys sofisticats que s'apliquen sobre un conjunt de dades per obtenir uns resultats.

Les tècniques més representatives són:

Xarxes neuronals.- Són un paradigma d'aprenentatge i processament automàtic inspirat en la forma en què funciona el sistema nerviós dels animals. Es tracta d'un sistema d'interconnexió de neurones en una xarxa que col·labora per produir un estímul de sortida. Alguns exemples de xarxa neuronal són: El perceptró. El perceptró multicapa. Els mapes autoorganitzats, també coneguts com a xarxes de Kohonen.

Regressió lineal.- És la més utilitzada per formar relacions entre dades. El model de mineria de dades representa les dades amb un únic node, que defineix la fórmula de regressió. Ràpida i eficaç però insuficient en espais multidimensionals on puguin relacionar-se més de dues variables.

Arbre de decisió.- Un arbre de decisió és un model de predicció utilitzat en l'àmbit de la intel·ligència artificial, donada una base de dades es construeixen aquests diagrames de construccions lògiques, molt similars als sistemes de predicció basats en regles, que serveixen per representar i categoritzar una sèrie de condicions que succeeixen de manera successiva, per a la resolució d'un problema. Exemples: Algorisme ID3. Algorisme C4.5.

Model estadístic.- És una expressió simbòlica en forma d'igualtat o equació que es fa servir en tots els dissenys experimentals i en la regressió, per indicar els diferents factors que modifiquen la variable de resposta.

Algorisme d'agrupament.- És un procediment d'agrupació d'una sèrie de vectors segons criteris habitualment de distància, i es tractarà de disposar dels vectors d'entrada de forma que estiguin més a prop aquells que tinguin característiques comunes.

Segons l'objectiu de l'anàlisi de les dades, els algorismes utilitzats es classifiquen en supervisats i no supervisats (Weiss i Indurkhya, 1998):

(o predictius): prediuen una dada (o un conjunt d'elles) desconeguda a priori, a partir d'altres de conegudes. (o del descobriment del coneixement): es descobreixen patrons i tendències en les dades.

Característiques L'entorn de la mineria de dades sol tenir una arquitectura client-servidor. Les eines de la mineria de dades ajuden a extreure el mineral de la informació enterrat en arxius corporatius o en registres públics, arxivats; es combinen fàcilment i poden analitzar-se i processar-se ràpidament. La mineria de dades produeix cinc tipus d'informació: Associacions. Seqüències. Classificacions. Agrupaments. Pronòstics.

Mineria de dades basada en teoria de la informació Totes les eines tradicionals de mineria de dades assumeixen que les dades que s'usaran per a construir els models contenen la informació necessària a fi d'aconseguir el propòsit buscat: obtenir prou coneixement que pugui ser aplicat al negoci (o problema) per a obtenir un benefici (o solució).

L'inconvenient és que això no és necessàriament cert. A més, hi ha un altre problema més gros encara. Una vegada construït el model, no és possible conèixer si aquest ha capturat tota la informació disponible en les dades. Per aquesta raó la pràctica comuna és realitzar diversos models amb diferents paràmetres per veure si n'hi ha algun que destaca a l'hora d'aconseguir millors resultats.

Una visió relativament nova a l'anàlisi de dades soluciona aquests problemes fent que la pràctica de la mineria de dades s'assembli més a una ciència que a un art.

El 1948 Claude Shannon va publicar un treball titulat Una Teoria Matemàtica de la Comunicació. Posteriorment, aquesta va passar a anomenar-se Teoria de la Informació i va establir les bases de la comunicació i la codificació de la informació. Shannon va proposar una manera de mesurar la quantitat d'informació per expressar en bits.

El 1999 Dorian Pyle va publicar un llibre titulat Data Preparation for Data Mining, en el qual proposa una manera d'usar la Teoria de la Informació per analitzar dades. En aquest nou enfocament, una base de dades és un canal que transmet informació. D'una banda hi ha el món real que captura dades procedents del negoci. D'altra banda, hi ha totes les situacions i problemes importants del negoci. I la informació flueix des del món real i a través de les dades, fins a la problemàtica del negoci.

Amb aquesta perspectiva i utilitzant la Teoria de la Informació, és possible mesurar la quantitat d'informació disponible en les dades i quina proporció de dades es podrà utilitzar per resoldre la problemàtica del negoci. Com un exemple pràctic, podria trobar-se que les dades contenen un 65% de la informació necessària per a predir quins clients rescindiran els seus contractes. D'aquesta manera, si el model final és capaç de fer prediccions amb un 60% d'encert, es pot assegurar que l'eina que va generar el model va fer una bona feina capturant la informació disponible. Ara bé, si el model hagués tingut un percentatge d'encerts de només el 10%, per exemple, llavors intentar altres models valdria la pena.

La capacitat de mesurar informació continguda en les dades té altres avantatges importants.

Quan analitzem les dades des d'aquesta nova perspectiva es genera un mapa d'informació que fa innecessària la preparació prèvia de les dades, una tasca absolutament imprescindible si es desitgen bons resultats, però que necessita molt temps.

És possible seleccionar un grup de variables òptim que contingui la informació necessària per realitzar un model de predicció.

Un cop que les variables són processades amb la finalitat de crear el mapa d'informació i després seleccionades aquelles que aporten més informació, l'elecció de l'instrument que ens servirà per crear el model deixa de tenir importància, ja que la major part del treball ja s'ha realitzat en passos previs.

Aplicacions Aquesta tècnica de processament de grans quantitats de dades té diverses aplicacions actualment en la vida quotidiana. Aquí se n'esmenten algunes:

Terrorisme L'FBI analitza les bases de dades comercials per a detectar terroristes. A principis del mes de juliol de 2002, el director del Federal Bureau of Investigation (FBI), John Aschcroft, va anunciar que el Departament de Justícia començarà a introduir-se en la vasta quantitat de dades comercials referents als hàbits i preferències de compra dels consumidors, amb la finalitat de descobrir potencials terroristes abans que executin una acció.

Fraus