Квалитет података (data quality) означава степен у којем подаци верно одражавају стварност и испуњавају захтеве корисника у погледу тачности, потпуности, конзистентности и поузданости. Иако постоји много дефиниција овог појма, подаци се углавном сматрају квалитетним ако су „погодни за намеравану употребу у пословним операцијама, одлучивању и планирању".Redman, Thomas C. (2013). Data Driven: Profiting from Your Most Important Business Asset. Harvard Business Press. Поред тога, подаци се сматрају квалитетним ако исправно представљају стварни феномен на који се односе. Са повећањем броја извора података, питање унутрашње конзистентности података постаје све значајније, без обзира на њихову погодност за одређену намену.Fürber, C. (2015). Data Quality Management with Semantic Technologies. Springer.
Дефинисање квалитета података је сложено јер зависи од контекста употребе, али и од перспективе различитих актера — корисника, произвођача и чувара података. Са корисничке тачке гледишта, квалитетни подаци су они који задовољавају потребе корисника и испуњавају или надмашују њихова очекивања. Са пословне стране, квалитет података подразумева усклађеност са постављеним стандардима, тако да подаци буду „погодни за употребу" у оперативном раду, доношењу одлука и планирању. Са становишта стандарда, квалитет података дефинише се као „степен у коме скуп инхерентних карактеристика неког објекта испуњава захтеве", у складу са стандардом ISO 9000.International Organization for Standardization (2015). „ISO 9000:2015 — Quality management systems — Fundamentals and vocabulary".
У свим овим случајевима, „квалитет података" суштински представља поређење стварног стања конкретног скупа података са жељеним стањем — које се обично описује изразима попут „погодно за употребу", „у складу са спецификацијом" или „без грешака". Та очекивања и спецификације дефинишу појединци, стандардизациона тела, закони и прописи, или пословне политике.Herzog, T.N.; Scheuren, F.J.; Winkler, W.E. (2007). Data Quality and Record Linkage Techniques. Springer.
Димензије квалитета података Квалитет података процењује се кроз низ карактеристика, познатих као димензије квалитета (data quality dimensions). У литератури је идентификовано скоро 200 оваквих термина, међу којима не постоји потпуна сагласност о природи, дефиницијама и начинима мерења. Најчешће коришћене димензије укључују: тачност (accuracy) — степен у ком подаци верно одражавају стварно стање; потпуност (completeness) — присуство свих неопходних вредности; конзистентност (consistency) — усклађеност података кроз различите системе и изворе; ажурност (timeliness) — расположивост података у тренутку када су потребни; јединственост (uniqueness) — одсуство нежељених дупликата; и важност (validity) — усклађеност са дефинисаним правилима и форматима. Поред ових, помињу се и доступност (accessibility), упоредивост (comparability), поузданост (reliability), флексибилност (flexibility), вероватноћа (plausibility) и релевантност (relevance).Mahanti, R. (2019). Data Quality: Dimensions, Measurement, Strategy, Management, and Governance. Quality Press.
Систематски прегледи литературе показују да димензије и методе процене квалитета података нису конзистентне у научним радовима, што процену квалитета чини изазовном услед сложене и хетерогене природе ових података.Bian, Jiang и сар. (2020). „Assessing the practice of data quality evaluation in a national clinical data research network". Journal of the American Medical Informatics Association, 27(12).
Историјат и развој Пре широке употребе јефтиног складиштења рачунарских података, велики мејнфрејм (mainframe) рачунари коришћени су за одржавање података о именима и адресама за поштанске службе. Ти системи примењивали су пословна правила за исправљање честих правописних и типографских грешака, као и за праћење корисника чије су се животне околности промениле. Владине агенције у Сједињеним Државама почеле су да дају поштанске податке на располагање сервисним компанијама ради унакрсне провере са Националним регистром промена адреса (National Change of Address, NCOA). Ова технологија је великим компанијама уштедела милионе долара у поређењу са ручним исправљањем података о клијентима.
Временом, са доступношћу јефтинијих серверских технологија, управљање квалитетом података прешло је у унутрашњост самих организација. Иако су компаније оријентисане на маркетинг првобитно усредсређивале своје напоре на исправност података о именима и адресама, квалитет података данас се препознаје као важно својство свих врста података — укључујући податке у ланцу снабдевања, трансакционе податке и многе друге категорије. Процена из 2002. године показала је да проблеми са квалитетом података коштају америчку економију преко 600 милијарди долара годишње.Eckerson, W. (2002). „Data Warehousing Special Report: Data quality and the bottom line".
Обезбеђивање и контрола квалитета података Обезбеђивање квалитета података (data quality assurance) представља процес профилисања података ради откривања недоследности и других аномалија, као и спровођења активности чишћења података (data cleansing) — попут уклањања одступајућих вредности и интерполације недостајућих података — у циљу унапређења квалитета.Fadahunsi, K.P. и сар. (2021). „Information Quality Frameworks for Digital Health Technologies: Systematic Review". Journal of Medical Internet Research, 23(5). Ове активности могу се спроводити у оквиру складиштења података (data warehousing) или као део администрације постојећих апликативних софтверских решења.
Контрола квалитета података (data quality control) подразумева управљање употребом података у одређеном систему или процесу, и одвија се и пре и после фазе обезбеђивања квалитета. Након спроведене провере прикупљају се статистике попут тежине недоследности, непотпуности, тачности, прецизности и недостајућих вредности. На основу ових информација доноси се одлука о томе да ли је одређени скуп података погодан за употребу. Конкретан пример значаја ове контроле јесте ваздухопловство: достављање неисправних мерења са сензора систему аутопилота може проузроковати авиокатастрофу, па строга контрола квалитета представља меру заштите.
Организације примењују различите техничке алате за унапређење квалитета података, укључујући: профилисање података (data profiling) ради иницијалне процене стања и расподеле вредности; стандардизацију (data standardization) помоћу механизама пословних правила; геокодирање (geocoding) за исправљање адресних података; упаривање записа (record linkage или matching) ради идентификовања дупликата путем „фази логике" (fuzzy logic); kao и праћење квалитета података у времену и аутоматско исправљање одступања на основу унапред дефинисаних правила. Поред тога, увођење правила за унос података и контрола приступа представљају важан део процеса управљања.Smallwood, R.F. (2014). Information Governance: Concepts, Strategies, and Best Practices. John Wiley and Sons.
Међународни стандарди ISO 8000 је међународни стандард за квалитет података, који управља Међународна организација за стандардизацију (International Organization for Standardization, ISO). Овај стандард обухвата опште аспекте квалитета података, укључујући принципе, речник и мерење, затим управљање подацима (data governance), управљање квалитетом и процену квалитета, кao и квалитет матичних (master) и индустријских података.„ISO 8000-1:2022 Data quality Part 1: Overview". International Organization for Standardisation.
Асоцијација за управљање кодовима у електронској трговини (Electronic Commerce Code Management Association, ECCMA) је непрофитна међународна организација која промовише побољшање квалитета података кроз примену међународних стандарда. ECCMA тренутно руководи развојем стандарда ISO 8000 и ISO 22745, који се односе на квалитет података односно размену матичних података о материјалима и услугама. Организација одржава отворене техничке речнике (Open Technical Dictionaries) koji омогућавају недвосмислено означавање информација и њихов пренос између различитих рачунарских система без губитка значења.„ECCMA Open Technical Dictionary". ECCMA. Доступно на: https://eccma.org/eotd-eccma-open-technical-dictionary/
Квалитет података у здравству У здравственом сектору, квалитет података постао је важна тема истраживања, посебно са порастом употребе мобилних уређаја у здравству, познатим под термином mHealth. Мобилни телефони и таблети користе се за прикупљање, извештавање и анализу здравствених података скоро у реалном времену, али будући да се ти уређаји користе и у личне сврхе, изложени су безбедносним ризицима који могу угрозити квалитет, безбедност и поверљивост здравствених података.Fadahunsi, K.P. и сар. (2019). „Protocol for a systematic review and qualitative synthesis of information quality frameworks in eHealth". BMJ Open, 9(3). Поред тога, носиве технологије (wearable technologies) и телесне мреже уређаја (Body Area Networks) генеришу велике количине података, а ниво детаљности потребан за осигурање квалитета веома је висок и често се потцењује.O'Donoghue, John; Herbert, John (2012). „Data management within mHealth environments: Patient sensors, mobile devices, and databases". Journal of Data and Information Quality, 4(1).
У програмима јавног здравља, квалитет података постао је кључна тема, нарочито у контексту борбе против болести попут сиде, туберкулозе и маларије. Светска здравствена организација (World Health Organization, WHO), Глобални фонд и друге организације сарађивале су на стварању усклађеног приступа обезбеђивању квалитета података у различитим програмима и болестима.The World Health Organization (2009). Monitoring and evaluation of health systems strengthening. Geneva: WHO.
Утицај квалитета података у пракси Квалитет података има значајан утицај на функционисање организација у разним областима, укључујући пословну интелигенцију (business intelligence), управљање односима са клијентима (customer relationship management), складиштење података (data warehousing) и управљање ланцем снабдевања (supply chain management). Лоши подаци — укључујући неважеће и застареле информације — могу настати из различитих извора, кроз унос података или пројекте миграције и конверзије. На пример, у системима за управљање ланцем снабдевања, неусаглашени подаци могу довести до прекомерног складиштења сличне, али различите робе, лажних несташица, отежаних преговора о попустима и повећаних логистичких трошкова.
Са друге стране, лош квалитет података може изазвати погрешне анализе, нетачне пословне одлуке и повећане оперативне трошкове, а такође може нарушити поверење корисника и репутацију организације. Из тих разлога, неке компаније успостављају посебне тимове за управљање подацима чија је искључива улога брига о квалитету података. У одређеним организацијама, ова функција постала је дeo шире функције усклађености са прописима, што сведочи о растућем значају квалитета података у савременом пословању.Fleckenstein, M.; Fellows, L. (2018). Modern Data Strategy. Springer.
Референце
Категорија:Рачунарство