CRISP-DM (zkratka pro Cross-Industry Standard Process for Data Mining) je standardizovaná metodika využívaná v procesu data miningu a pro projekty datové vědy, která je v základu nezávislá na odvětví.

Fáze CRISP-DM alt=CRISP-DM|náhled|Schéma fází procesu CRISP-DM.Metodika CRISP-DM vymezuje 6 konkrétních fází procesu data miningu, které na sebe navazují. Jejich pořadí však není striktně stanoveno a kroky je možné opakovat iterativně. Jedná se o fáze: porozumění problematice porozumění datům příprava dat modelování vyhodnocení výsledků využití výsledků

Porozumění problematice (Business Understanding) První fáze procesu je zaměřena na manažerskou formulaci problému a posouzení obchodní situace. Její součástí je např. stanovení obchodních cílů a kritérií úspěchu, analýza rizik a dostupných zdrojů, definice technických cílů dobývání znalostí a vypracování detailního plánu projektu.

Porozumění datům (Data Understanding) Druhá fáze navazuje na inventarizaci datových zdrojů z fáze předchozí. Je zaměřena na sběr dat, jejich zkoumání, popis a kontrolu kvality. Jejím cílem je získat komplexní přehled o datech, s nimiž se bude pracovat. Součástí této fáze tak je např. verifikace datových toků, analýza datových formátů a objemů, statistické zkoumání vztahů v datech a audit jejich věrohodnosti a úplnosti.

Příprava dat (Data Preparation) Třetí fáze je zaměřena na výběr a přípravu finálního datového souboru, který bude následně zpracováván algoritmy data miningu. Výběr výsledné množiny včetně použitých metod jejich získání či vytvoření je závislý na volbě modelu (definovaném v prvním kroku). Součástí této fáze je tak např. výběr konkrétních dat a zdůvodnění jejich (ne)zařazení, čištění dat od chyb a šumu, konstrukce nových odvozených atributů, integrace a propojování více datových zdrojů a závěrečné formátování dat do podoby vyžadované zvoleným algoritmem. Často se jedná o nejpracnější a nejdelší část procesu.

Modelování (Modeling) Ve čtvrté fázi dochází k samotnému dobývání znalostí prostřednictvím využití různých metod data miningu. Pro řešení úloh je obvykle možné využití různých metod, které se mohou lišit např. použitými parametry. Tento krok zahrnuje např. výběr modelovacích technik, stanovení jejich předpokladů a návrh testování. Při samotné tvorbě modelů dochází k ladění jejich parametrů a následnému vyhodnocení, aby byla vybrána nejvhodnější varianta. Proces se opakuje, dokud modely nedosahují odpovídající kvality – pokud je nedostatečná, může to vést k nutnosti úpravy vstupního datového souboru a tedy návratu do předchozí fáze.

Vyhodnocení výsledků (Evaluation) V páté fázi dochází k vyhodnocení výsledků z manažerského pohledu, tj. dochází k porovnání výsledků modelování s cíli formulovanými v první fázi. Součástí fáze je také rozhodnutí o dalších krocích, zejména jakým způsobem budou získané výsledky dále využity.

Využití výsledků (Deployment) Šestá a závěrečná fáze procesu, je zaměřena na praktické využití získaných poznatků a integraci výsledků do rozhodovacích procesů organizace. V této fázi se rozhoduje o konkrétním způsobu aplikace modelů, což může zahrnovat jak sestavení závěrečných reportů a prezentací, tak přímou implementaci softwarové komponenty do informačního systému. Součástí je také vypracování plánu nasazení, monitoringu a následné údržby.

Alternativy a rozšíření metodiky CRISP-DM V reakci na technologický pokrok, nové potřeby v řízení projektů (např. agilní přístup) ale také pro potřeby jednotlivých odvětví vzniklo několik alternativ k původnímu modelu CRISP-DM. Tyto nové mody nemění smysl původní metodiky, pouze dochází k adaptaci 4 způsoby: úpravou fází, přidáním nových fází, doplněním nástrojů nebo integrací s jinými metodikami.

Modely upravující fáze U těchto modelů nedochází ke změně podstaty jednotlivých fází ale pouze k jejich upřesnění v konkrétním kontextu. Příkladem jsou modely:

CRISP-eSNeP – úprava pro práci s velkými daty a v kontextu sociálních sítí. CRISP-MED-DM – úprava zahrnující specifika medicínských oborů.

Modely přidávající fáze V případě těchto modelů došlo k doplnění původní metodiky o několik fázi. Příkladem jsou modely:

DMME – úprava přizpůsobená pro inženýrské aplikace. DPM – úprava zaměřená na časové údaje v kontextu softwarového inženýrství.

Modely doplňující nástroje nebo integraci s jinými metodikami Tyto modely doplňují původní metodiku o např. techniky řízení projektů, požadavků a kvality. Příkladem jsou modely:

POST-DS – přidává organizační nástroje a nástroje řízení projektu, jako RACI matice nebo Gannttův diagram. SCRUM-DS – přidává komponenty SCRUM, jako jsou role nebo eventy.

Reference

Externí odkazy CRISP-DM User Guide: https://web.archive.org/web/20220401041957/https://www.the-modeling-agency.com/crisp-dm.pdf Kurz Data Mining: https://www.itnetwork.cz/python/data-mining/metodologie-data-mining-procesu-a-pouzivane-techniky TAČR Metodické podklady: https://tacr.gov.cz/dokums_raw/projekty/KA3%20-%20Metodické%20podklady%20k%20aplikacím%20těžení%20dat%20a%20vyhledávání%20textu.pdf

Literatura SHAFIQUE, Umair; QAISER, Haseeb. A comparative study of data mining process models (KDD, CRISP-DM and SEMMA). International Journal of Innovation and Scientific Research, 2014, 12.1: 217-222.

Kategorie:Data mining Kategorie:Datové modelování Kategorie:Strojové učení