Minarea datelor este procesul de explorare a tiparelor în seturi mari de date, unde implică metode de sisteme de învățare automată, statistica și baze de date. Minerirea datelor este un sub-domeniu interdisciplinar al informaticii și al statisticilor cu un obiectiv general de a extrage informații (cu metode inteligente) dintr-un set de date și transforma informația într-o structură inteligibilă pentru o utilizare ulterioară. Minerirea datelor este etapa de analiză a procesului de „descoperire a cunoștințelor în bazele de date” sau KDD. În afară de etapa de analiză brută, implică și aspecte de gestionare a bazelor de date și a datelor, pre-procesare a datelor, interfața și modelele folosite, valori de interes, critici de complexitate, post-procesare a structurilor descoperite, vizualizarea datelor și actualizarea online.
Termenul de „minarea datelor” este un termen greșit, deoarece obiectivul este minarea tiparelor și cunoștințelor din cantități mari de date, nu se minează datele în sine. De asemenea, este un cuvânt cheieOKAIRP 2005 Fall Conference, Arizona State University și este frecvent aplicat oricărei forme de date la scară largă sau de prelucrare a informațiilor (colectarea datelor, extracția datelor, depozitarea datelor, analiză și statistici), precum și orice aplicație a sistemului de asistență pentru decizii, inclusiv inteligență artificială și informații de afaceri. Cartea "Data mining: Instrumente și tehnici practice de învățare a mașinilor cu Java " (care acoperă în mare parte materialul de învățare automată) a fost denumită inițial doar învățare practică de mașini, iar termenul minerit de date a fost adăugat doar din motive de marketing. Adesea termeni mai generali (pe scară largă) de analiză a datelor și de analiză - sau, atunci când se referă la metode reale, inteligență artificială și de învățare mașină - sunt mai adecvate.
Sarcina reală de extragere a datelor este analiza semiautomatică sau automată a unor cantități mari de date pentru a extrage tipare necunoscute anterior, tipare interesante, cum ar fi grupuri de înregistrări de date, înregistrări neobișnuite (detectare de anomali) și dependențe (exploatarea regulilor de asociere, extragerea secvențială a modelului). Aceasta implică de obicei utilizarea tehnicilor bazei de date, cum ar fi indicii spațiali. Aceste tipare pot fi apoi văzute ca un fel de rezumat al datelor de intrare și pot fi utilizate în analize suplimentare sau, de exemplu, în învățarea automată și în analiza predictivă. De exemplu, etapa de extragere a datelor poate identifica mai multe grupuri din date, care pot fi apoi utilizate apoi pentru a obține rezultate de predicție mai exacte de către un sistem de asistență decizională. Nici colectarea datelor, pregătirea datelor, nici interpretarea și raportarea rezultatelor nu fac parte din etapa de extragere a datelor, dar nu aparțin procesului general de descoperire a cunoștințelor în bazele de date ca pași suplimentari.
Diferența dintre analiza datelor și extragerea datelor este că, analiza datelor este utilizată pentru testarea modelelor și ipotezelor din setul de date, de exemplu, analizarea eficienței unei campanii de marketing, indiferent de cantitatea de date; în schimb, extragerea datelor folosește învățarea automată și modele statistice pentru a descoperi tipare clandestine sau ascunse într-un volum mare de date. Olson, D. L. (2007). Data mining in business services. Service Business, 1(3), 181-193.
Termenii corelați dragarea de date, pescuitul de date și snoopingul de date se referă la utilizarea metodelor de extragere a datelor pentru eșantionarea părților dintr-un set de date de mai mare care sunt (sau pot fi) prea mici pentru a se face inferențe statistice fiabile despre validitatea oricărui tipar descoperit. Aceste metode pot fi, totuși, utilizate în crearea de noi ipoteze pentru a testa împotriva populațiilor mai mari de date.
Etimologie În anii '60, statisticienii și economiștii foloseau termeni precum pescuitul de date sau dragarea de date pentru a se referi la ceea ce considerau proasta practică de analiză a datelor fără o ipoteză a priori. Termenul de „extragere a datelor” a fost folosit într-un mod la fel de critic de către economistul Michael Lovell într-un articol publicat în Revizuirea Studiilor Economice din 1983. Lovell indică faptul că practica „maschează sub o varietate de aliasuri, variind de la„ experimentare ”(pozitiv) la„ pescuit ”sau„ scobit ”(negativ).
Termenul de extragere a datelor a apărut în jurul anului 1990 în comunitatea bazelor de date, în general cu conotații pozitive. Pentru o perioadă scurtă de timp, în anii 1980, a fost utilizată o expresie „extragerea bazelor de date”™, dar din moment ce a fost înregistrată de către HNC, o companie cu sediul în San Diego, pentru a lansa stația de lucru a bazei de date; cercetătorii au apelat în consecință la exploatarea datelor. Alți termeni folosiți includ arheologia datelor, recoltarea informațiilor, descoperirea informațiilor, extragerea cunoștințelor etc. Gregory Piatetsky-Shapiro a inventat termenul „descoperirea cunoștințelor în bazele de date” pentru primul atelier pe același subiect (KDD-1989), iar acest termen a devenit mai popular în comunitatea AI. Cu toate acestea, termenul minerit de date a devenit mai popular în comunitățile de afaceri și presă. În prezent, termenii de extragere a datelor și descoperirea cunoștințelor sunt folosiți în mod interschimbabil.
Proces Procesul de descoperire a cunoștințelor în bazele de date (KDD) este definit în mod obișnuit prin etapele:
Selecție Pre-procesare Transformare Minerirea datelor Interpretare/evaluare
Cu toate acestea, există numeroase variații pe această temă, cum ar fi procesul standard inter-industrie pentru extragerea datelor (CRISP-DM) care definește șase faze:
Înțelegerea afacerilor Înțelegerea datelor Pregătirea datelor Modelare Evaluare Implementare
sau un proces simplificat, cum ar fi (1) Pre-procesare, (2) Minerirea datelor și (3) Validarea rezultatelor.
Sondajele efectuate în 2002, 2004, 2007 și 2014 arată că metodologia CRISP-DM este principala metodologie utilizată de minerii de date.Gregory Piatetsky-Shapiro (2002) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2004) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2007) KDnuggets Methodology Poll, Gregory Piatetsky-Shapiro (2014) KDnuggets Methodology Poll Singurul alt standard de extragere a datelor denumit în aceste sondaje a fost SEMMA. Cu toate acestea, de 3-4 ori mai mulți oameni au raportat folosind CRISP-DM. Mai multe echipe de cercetători au publicat recenzii ale modelelor proceselor de extragere a datelor,Lukasz Kurgan and Petr Musilek (2006); A survey of Knowledge Discovery and Data Mining process models. The Knowledge Engineering Review. Volume 21 Issue 1, March 2006, pp 1–24, Cambridge University Press, New York, NY, USA iar Azevedo și Santos au efectuat o comparație între CRISP-DM și SEMMA în 2008.Azevedo, A. and Santos, M. F. KDD, SEMMA and CRISP-DM: a parallel overview . In Proceedings of the IADIS European Conference on Data Mining 2008, pp 182–185.
Pre-procesare Înainte de a putea folosi algoritmi de extragere a datelor, trebuie să fie asamblat un set de date țintă. Deoarece extragerea de date poate descoperi doar tiparele prezente în realitate, setul de date țintă trebuie să fie suficient de mare pentru a conține aceste tipare, rămânând suficient de concis pentru a fi extras într-un termen acceptabil. O sursă comună pentru date este un data mart sau un depozit de date. Pre-procesarea este esențială pentru a analiza seturile de date multivariate înainte de extragerea datelor. Setul țintă este apoi curățat. Curățarea datelor elimină observațiile care conțin zgomot și cele cu date lipsă.
Minerirea datelor Minarea de date implică șase clase comune de sarcini:
Detectarea anomaliilor (depistare anterioară/modificare/abatere) - Identificarea înregistrărilor neobișnuite de date, care ar putea fi interesante sau erori de date care necesită investigare suplimentară. Învățarea regulilor de asociere (modelarea dependenței) - Caută relații între variabile. De exemplu, un supermarket ar putea strânge date despre obiceiurile de cumpărare ale clienților. Folosind învățarea regulilor de asociere, supermarketul poate determina ce produse sunt cumpărate frecvent împreună și poate utiliza aceste informații în scopuri de marketing. Aceasta este uneori denumită analiza coșului de piață. Clustering - este sarcina de a descoperi grupuri și structuri în datele care sunt într-un fel sau altul „similare”, fără a utiliza structuri cunoscute în date. Clasificare - este sarcina generalizării structurii cunoscute pentru a se aplica la date noi. De exemplu, un program de e-mail ar putea încerca să clasifice un e-mail drept „legitim” sau „spam”. Regresie - încearcă să găsească o funcție care modelează datele cu cea mai mică eroare, adică pentru estimarea relațiilor dintre date sau seturi de date. Rezumare - oferind o reprezentare mai compactă a setului de date, inclusiv vizualizarea și generarea de rapoarte.
Validarea rezultatelor miniatura| Un exemplu de date produse prin phising de date printr-un bot operat de statisticianul Tyler Vigen, arătând aparent o legătură strânsă între cel mai bun cuvânt câștigător al unei competiții de albine ortografice și numărul de persoane din Statele Unite ucise de păianjeni veninoși. Similitudinea în tendințe este, evident, o coincidență. Exploatarea datelor poate fi folosită în mod neintenționat și poate produce rezultate care par a fi semnificative; dar care nu prezic de fapt un comportament viitor și nu pot fi reproduse pe un nou eșantion de date și nu au prea puțină utilizare. Adesea, acest lucru rezultă din investigarea prea multor ipoteze și din efectuarea unor testări statistice corespunzătoare. O versiune simplă a acestei probleme în învățarea mașinii este cunoscută sub denumirea de adaptare, dar aceeași problemă poate apărea în diferite faze ale procesului și, astfel, o divizare tren/test - atunci când este cazul, poate să nu fie suficientă pentru a împiedica acest lucru.
Ultimul pas al descoperirii cunoștințelor din date este de a verifica dacă tiparele produse de algoritmii de extragere a datelor apar în setul de date mai larg. Nu toate tiparele găsite de algoritmii de extragere a datelor sunt neapărat valabile. Este obișnuit ca algoritmii de extragere a datelor să găsească modele în setul de instruire care nu sunt prezente în setul de date generale. Aceasta se numește supra-montare. Pentru a depăși acest lucru, evaluarea folosește un set de teste de date pe care algoritmul de extragere a datelor nu a fost instruit. Modelele învățate sunt aplicate acestui set de teste, iar rezultatul rezultat este comparat cu ieșirea dorită. De exemplu, un algoritm de extragere a datelor care încearcă să distingă „spamul” de e-mailurile „legitime” ar fi instruit pe un set de instruire de e-mail-uri de probă. Odată instruiți, tiparele învățate vor fi aplicate setului de teste de e-mailuri pe care nu a fost instruit. Precizia tiparelor poate fi apoi măsurată din câte e-mailuri clasifică corect. Pentru evaluarea algoritmului pot fi utilizate mai multe metode statistice, cum ar fi curbele ROC.
Dacă tiparele învățate nu corespund standardelor dorite, ulterior este necesară reevaluarea și schimbarea etapelor de pre-procesare și extragere a datelor. Dacă tiparele învățate îndeplinesc standardele dorite, atunci ultimul pas este interpretarea tiparelor învățate și transformarea lor în cunoaștere.
Cercetare