OpenRefine este o aplicație desktop open-source pentru curățarea datelor și transformarea în alte formate, o activitate cunoscută în mod obișnuit sub denumirea de manipularea datelor. Este similar cu aplicațiile de foi de calcul și poate gestiona formate de fișiere de foi de calcul, cum ar fi CSV, dar se comportă mai mult ca o bază de date.

Funcționează pe rânduri de date care au celule grupate pe coloane, similar modului în care funcționează tabelele de baze de date relaționale. Proiectele OpenRefine constau dintr-un tabel, ale cărui rânduri pot fi filtrate folosind fațete care definesc criterii (de exemplu, afișând rândurile în care o anumită coloană nu este goală).

Spre deosebire de foile de calcul, majoritatea operațiilor din OpenRefine se fac pe toate rândurile vizibile, de exemplu, transformarea tuturor celulelor din toate rândurile de pe o coloană, sau crearea unei coloane noi pe baza datelor existente. Acțiunile efectuate pe un set de date sunt stocate în proiect și pot fi „reluate” pe alte seturi de date. Formulele nu sunt stocate în celule, ci sunt folosite pentru a transforma datele. Transformarea se face o singură dată. Expresiile cu formule pot fi scrise în General Refine Expression Language (GREL),General Refine expression language OpenRefine/OpenRefine Wiki GitHub. în Jython (adică, Python) și în Clojure.

Programul funcționează ca o aplicație web locală: pornește un server web și deschide browserul implicit la adresa 127.0.0.1 :3333.

Utilizări

Curățarea datelor dezordonate: de exemplu, dacă lucrați cu un fișier text cu unele date semi-structurate, acesta poate fi editat folosind transformări, fațete și grupări pentru a face datele să fie curat structurate. Transformarea datelor: conversia valorilor în alte formate, normalizare și denormalizare. Analizarea datelor de pe site-uri web : OpenRefine are o funcție de preluare a URL-urilor și un parser HTML și un motor DOM. Adăugarea de date la setul de date prin preluarea lor de la serviciile web (i.e. care întorc date în formatul JSON ). De exemplu, poate fi folosit pentru geocodarea adreselor la coordonatele geografice. Alinierea la Wikidata sau alt site ce folosește Wikibase: aceasta implică reconciliere — maparea valorilor șirurilor din celule cu entitățile din Wikidata.

Formate acceptate Importul este acceptat din următoarele formate:

, CSV Fișier text cu separatoare personalizate sau coloane cu lățime fixă XML triplete RDF (formatele de serializare RDF/XML și Notation3) JSON Foi de calcul Google

Dacă datele de intrare sunt într-un format de text non-standard, pot fi importate ca linii întregi, fără a fi împărțite în coloane, iar apoi coloanele sunt extrase ulterior cu instrumentele OpenRefine. Fișierele arhivate și comprimate sunt acceptate (.zip, .tar.gz, .tgz, .tar.bz2, .gz sau .bz2); de asemenea, Refine poate descărca fișiere de intrare de la o adresă URL. Pentru a utiliza pagini web ca intrare, este posibil să importați o listă de adrese URL și apoi să invocați o funcție de preluare a URL-urilor.

Exportul este acceptat în următoarele formate:

TSV CSV Microsoft Excel tabel HTML Foi de calcul Google Exportator de șabloane: este posibil să definiți un șablon personalizat pentru ieșirea datelor, de exemplu ca tabel MediaWiki.

Toate proiectele OpenRefine în format nativ pot fi exportate ca arhivă .tar.gz.

Dezvoltare OpenRefine și-a început viața ca Freebase Gridworks, dezvoltat de Metaweb și este disponibil ca sursă deschisă din ianuarie 2010. La 16 iulie 2010, Google a achiziționat Metaweb, creatorii , iar pe 10 noiembrie 2010 a redenumit Freebase Gridwords în Google Refine, lansând versiunea 2.0. Pe 2 octombrie 2012, autorul original David Huynh a anunțat că Google va opri în curând dezvoltarea pentru Google Refine.OpenRefine . De atunci, baza de cod a fost mutată către un proiect open source numit OpenRefine.google-refine - Google Refine, a power tool for working with messy data (formerly Freebase Gridworks) - Google Project Hosting.

Note

Legături externe

Tutorial OpenRefine pentru începători de Emma Carroll

Categorie:Produse Google Categorie:Software liber Categorie:Managementul informațiilor