La neteja de dades (en anglès data cleaning o data scrubbing) és el procés de detectar i corregir (o eliminar) registres de dades erronis, incomplets, incorrectes, duplicats o irrellevants d'un conjunt de dades. La neteja de dades és un pas fonamental en el procés d'anàlisi de dades, ja que les dades de baixa qualitat poden produir resultats erronis i conclusions equivocades. alt=Inici i final d'un procés de neteja de dades.|miniatura|Inici i final d'un procés de neteja de dades.
Aquest procés és una part crucial de l'anàlisi de dades, especialment quan es recopilen dades quantitatives.
Les inconsistències descobertes, modificades o eliminades en un conjunt de dades poden ser causades per diversos factors: definicions diferents d'entitats similars en sistemes diversos, errors humans durant l'entrada de dades, problemes en la transmissió o corrupció durant l'emmagatzematge.
La neteja de dades i la validació de dades són processos diferents però complementaris. La validació comprova que les dades compleixin regles i pot rebutjar o marcar registres en el moment de l'entrada o en controls automatitzats, mentre que la neteja consisteix a detectar i corregir, completar o eliminar valors erronis o inconsistents en conjunts de dades (normalment com a postprocès o en lots). En la pràctica, la validació s'aplica sovint durant la captura de dades per evitar errors immediats, i la neteja s'utilitza per resoldre problemes més complexos que requereixen transformacions, recerca o intervenció manual.
Motivació La qualitat de les dades té un impacte directe en la presa de decisions i en el funcionament dels sistemes informàtics. Les dades incorrectes o incompletes poden generar conclusions errònies, pèrdues econòmiques i fins i tot problemes legals o de seguretat. Segons diversos estudis, les empreses perden de mitjana entre el 15% i el 25% dels seus ingressos a causa de la baixa qualitat de les dades.
Exemples d'aplicació En l'àmbit de la salut pública, la neteja de dades és essencial per garantir que els registres mèdics electrònics siguin exactes, cosa que pot afectar directament els diagnòstics i tractaments dels pacients. Les dades incorrectes o duplicades poden portar a errors de medicació o a decisions clíniques inadequades.
En el govern i l'administració pública, la neteja de dades en censos poblacionals i registres fiscals és crucial per a la planificació de polítiques públiques i la gestió de recursos. Errors en aquestes dades poden resultar en distribucions injustes de serveis o en decisions pressupostàries equivocades.
En l'àmbit financer, la neteja de dades és fonamental per a la detecció de frau, el compliment de normatives de blanqueig de capitals i l'avaluació de riscos crediticis. Les institucions financeres inverteixen recursos significatius en mantenir la qualitat de les seves dades de clients i transaccions.
En la investigació científica, especialment en camps com la bioinformàtica o les ciències socials, la neteja de dades és un pas imprescindible abans de qualsevol anàlisi estadística. Les dades brutes de laboratoris, enquestes o sensors sovint contenen errors de mesura, valors mancants o inconsistències que cal corregir.
En el comerç electrònic i el màrqueting digital, la neteja de dades de clients (adreces, correus electrònics, historials de compra) permet millorar la personalització, reduir costos d'enviament i augmentar l'eficàcia de les campanyes publicitàries.
Qualitat de les dades La qualitat de les dades es pot mesurar segons diverses dimensions: Exactitud: les dades representen correctament la realitat que descriu. Completitud: totes les dades necessàries estan presents i no hi ha valors mancants. Consistència: les dades no presenten contradiccions entre diferents fonts o registres. Validesa: les dades segueixen els formats, els rangs i les regles de negoci definides. Unicitat: no hi ha registres duplicats. Actualitat: les dades estan actualitzades i són rellevants pel moment d'ús.
Procés de neteja de dades El procés de neteja de dades sol seguir diverses etapes:
Inspecció de dades: revisió inicial del conjunt de dades per identificar anomalies, patrons d'errors i problemes de qualitat mitjançant tècniques estadístiques i de visualització. Definició de flux de treball: disseny d'una seqüència d'operacions per detectar i corregir els errors identificats. Cal determinar les causes dels problemes per aplicar les solucions adequades. Execució: aplicació de les transformacions i correccions definides al conjunt de dades. Pot incloure operacions com normalització de formats, eliminació de duplicats, correcció de valors erronis i imputació de valors mancants. Verificació i documentació: comprovació que les dades netejades compleixen els criteris de qualitat establerts i documentació dels canvis realitzats per garantir la traçabilitat del procés.
Tècniques de neteja de dades Les tècniques principals utilitzades en la neteja de dades inclouen:
Validació de format i sintaxi: comprovació que els valors compleixen els formats esperats (per exemple, adreces de correu electrònic, dates, números de telèfon). Es poden utilitzar expressions regulars i analitzadors sintàctics per verificar l'estructura de les dades. Normalització i estandardització: conversió de dades a formats uniformes i consistents. Inclou la transformació d'unitats de mesura, formats de data, majúscules/minúscules i codificacions de caràcters. Eliminació de duplicats: identificació i eliminació de registres redundants. Requereix algorismes que determinin quan dos registres representen la mateixa entitat, fins i tot amb petites diferències en els valors. Tractament de valors mancants: gestió de dades incompletes mitjançant eliminació de registres, imputació estadística amb valors calculats (mitjanes, medianes, moda) o tècniques avançades d'aprenentatge automàtic. Detecció de valors atípics: identificació de valors estadísticament anormals mitjançant tècniques com desviació estàndard, rangs interquartílics o algorismes de clúster.
Eines de neteja de dades Hi ha diverses eines de programari per a la neteja de dades. Entre les més utilitzades hi ha OpenRefine (anteriorment Google Refine), una eina lliure que permet treballar amb dades desorganitzades. També són populars eines comercials com Trifacta Wrangler, Talend Data Quality, i Alteryx.
En l'àmbit de la ciència de dades, intel·ligència artificial o altres àmbits relacions amb la programació, és habitual utilitzar biblioteques de llenguatges de programació com pandas per a Python, Dplyr i tidyr per a R, o les funcions de neteja de dades del paquet Apache Spark per a entorns distribuïts.
Reptes i problemes La neteja de dades presenta diversos reptes significatius: Escalabilitat: processar grans volums de dades (big data) requereix tècniques i infraestructures distribuïdes que puguin mantenir l'eficiència. Automatització vs. supervisió humana: trobar l'equilibri entre processos automàtics eficients i la necessitat de revisió manual per a casos complexos o ambigus. Preservació del significat: assegurar que les correccions no modifiquen el significat original de les dades ni introdueixen biaixos. Qualitat de fonts múltiples: integrar i reconciliar dades de diferents orígens amb formats, qualitats i convencions diverses. Cost i recursos: la neteja de dades pot consumir fins al 80% del temps en projectes d'anàlisi de dades, representant un cost significatiu.
Vegeu també Big data Ciència de dades Qualitat de les dades Preprocessament de dades
Referències
Categoria:Enginyeria Categoria:Informàtica Categoria:Empresa Categoria:Bases de dades