Управление на качеството на данните (DataQualityManagement)

Измина доста време от последната ми публикация, но ето ме тук със следващата публикация, която е свързана с управление на качеството на данните или data quality management...

В следващите редове ще се опитам да обясня какво е управление на качеството на данните и самото качество на данните, което е подраздел на управлението.

Приятно Ви четене!

Управление на качеството на данните е процес на проследяване и анализиране в клиентски и бизнес сметки, като се гарантира, че е точна и актуална информацията. Това включва периодични актуализации и почистване за стара и остаряла информация, анализиране на данните, както и осигуряване с надеждни данни, разчитайки за управлението, интеграцията, и много повече. При управление на качеството на данните обикновено се следва структурата, описана по-долу:

Планиране на успешна стратегия

Основната стъпка в прилагането на истинско качество за управление на данните се осъществява чрез изпълнение и планиране на една успешна стратегия за миграция и управление на данните. Това зависи пряко от целостта на съществуващите данни и как те се консолидирани и организирани.

За съжаление, много системи за данни на големи компании са разхвърляни с информация и файлове, разпределени в няколко различни полето за данни, често пълни с дублиращи се или непълна документация. Внимателно подбиране обединяваща стратегия за управление на данни е задължително, ако вашата компания е организирана, всички процеси ще протичат гладко и по-бързо.

Изпълнителна миграция на данни (Data Migration) за CustomerRelationshipManagement или система за управление на взаимоотношенията с клиенти

Консолидирането, укрепването на данните в даден източник е една от най-важните стъпки, която фирмата трябва да вземе под внимание при управлението на качеството, където данните (информацията), са сгъчкани в система им. Много компании се борят с множество източници на данни, което може да отнеме ценно време и ресурси.

Ако екип работещ от разстояние с продажбите на даден продукт има различни данни от екип работещ в областта, нещата могат да излязат извън контрол. По този начин, при правилното прилагане на CRM може да помогне на компанията да разпределят своите данни ефективно, бързо и ефикасно, което дава възможност за по-голям успех и по-високо качество на данните.

Почистване и Де-дублиране на данни

Почистените и де - дублираните данни са данни, които са пречистени от допълнителни дразнения, като дублирани записи или съдържание, потребителски проблеми, дължащи се на непокътнати въпроси. Този аспект на данни за управление на качеството на CRM стратегия има за цел да ръководи компания, чрез процеса на почистване на данни, преди или след като са мигрирали от един източник в друг. Това води до по-ефективно, по-малко претрупана система, която е оптимална за потребителите и в крайна сметка повишава производителността.

Как данните за управление на качеството засягат CRM?

При управление на качеството на данните неразделна част от успеха на една силна стратегия е управление на ресурсите на екипажа, тъй като всички потребители на системата, от продажбите на сила персонал на изпълнителните директори и маркетинг екипи, имат достъп до същото качество на данните. Централен източник на квалифицирани данни се гарантира, всеки е на същата страница и знае какво става. Това води до по-ефективни продажби на екипа, добро обслужване на клиентите, ефективно управление на олово, и като цяло по-солидна, целенасочена програма по управление на ресурсите на екипа.

Колелото на управление на качеството на данните

Реактивни и проактивни компоненти

Една успешна програма за управление на качеството на данните има проактивни и реактивни компоненти. Проактивният компонент се състои в създаването на цялостното управление, определянето на ролите и отговорностите, за създаване на качествени очаквания и поддръжка на бизнес практиките, както и доброто планиране и разпределение на техническата среда, която поддържа тези бизнес практики. Често се налага използването на специализирани инструменти  в тази техническа среда. Реактивният компонент се състои със справянето на проблеми, които са присъщи на данните в съществуващите бази данни. Качеството на данните в наследени системи, които са разработени без програма за управление на качеството на данните, на место могат да бъдат недостатъчни за посрещането на новите нужди на бизнеса, както се вижда от различните представяния на едни и същи данни.

И двата компонента са важни аспекти на програмата за управление на качеството на данните - при реактивните компоненти са на яве адресните проблеми, които вече съществуват, а на активни са за намаляване на потенциала при възникването на нови проблеми. Партньорството между бизнеса и информационните технологии е от решаващо значение за една успешна програма. След като ИТ средата разбере , бизнес правилата, тя е в състояние да разположи технологията, необходима за да се гарантира, че данните се управляват като корпоративен актив.

Предизвикателства при управлението на качеството на данните

Внедряването на програма за управление на качеството на данните не е лесно, има значителни предизвикателства, които трябва да бъдат преодолени. Някои от най-значимите причини, които компаниите избягват да изпълняват официална инициатива при  управление на качеството на данните включват:

• Не бизнес звено или отдел, което смята, че е отговорен за проблема.
• Това изисква кръстосано функционални сътрудничество.
• Изисква организацията да признае, че има значителни проблеми.
• Изисква дисциплина.
• Изисква инвестиране на финансови и човешки ресурси.
• Тя се възприема като изключително работна ръка-интензивно.
• Възвръщаемостта на инвестициите е трудно постижимо, за да се определи количествено.

Отговорности

Един от най-значимите предизвикателства е, че нито едно отделно бизнес звено е отговорно за всички данни в едно предприятие, както и включването на отговорност за качеството на данните в длъжностната характеристика е много необичайно. Освен това, след като данните са в компютъра, бизнес звената, често си измиват ръцете с проблема и обвиняват за това ИТ отдела. ИТ отдела не може да създава бизнес правила, нито пък да бъдат отговорни за вземането на бизнес решения по отношение на данните. Той може само да гарантира, че електронните правила, въз основа на бизнес правилата, да функционират правилно. Ефективно управление на качеството изисква организациите да приемат подход на управление на данните. Стопанисването(stewardship) е различна от собствеността(ownership). Настойник(steward) е човек, който се очаква да упражнява отговорно права над един актив, които той или тя не притежава. Данните всъщност са собственост на предприятието. Настойникът отговаря за поддръжката за този актив.

Друго изискване е бизнес отдела да се съсредоточи върху информационните задачи. Бизнес лидерите са отговорни с техните функционални задължения. Маркетинг вицепрезидента е отговорен със сегментацията или разделянето на клиентите и управление на кампаниите. Управлението на качеството на данните не е негова или нейна отговорност. Маркетинг вицепрезидентът трябва да разпознава това, освен ако неговите очаквания за качеството са установени за данните, това е малко вероятно, че състоянието на данните ще бъдат достатъчно добри, за да поддържат неговите или нейните нужди. По същия начин, вицепрезидентът на преработващата промишленост се фокусира върху производството на продуктите. Той или тя трябва да разпознават данните относно продуктите (напр. спецификации, взаимозаменяеми суровини, нивата на инвентаризация на складове и клиентски сайтове) влияе на способността на отдела изгодно да произвеждат продукти.

Качество на данните

Противоположно на общоприетото разбиране, качеството не се възприема като безпроблемно. Качеството трябва да съответства на определени валидни изисквания. При дефинирането на качеството, ние трябва:

• Установяване кой определя изискванията
• Установяване как се определят изискванията
• Установяване на степента на съответствията, което е необходимо

В крайна сметка, това е бизнес, който трябва да определи изискванията за качеството. Ако програма за управление е налице, тогава лицето, отговорно за специфичен набор от данни е всеизвестно; ако няма програма за управление, налице, то тогава лицето, отговорно за въпросните данни трябва да се идентифицира и това лице, е упълномощен за вземане на решения, отнасящи се за_ изискванията на качеството , които трябва да бъдат разпознати. ИТ организацията допринася за решението. При липса на друга информация, ще има тенденция да се определи качеството като съвършенство. ИТ организацията трябва да гарантира, че бизнес лицето, което взема решението е наясно със съществуващите недостатъци_ на качеството на данните и практичността на разходите за тяхното преодоляване. Понякога промените в бизнес процесите  и политиките на компенсация ще бъдат необходими за справяне с проблемите с качеството на данните. Тези фактори трябва да въведат в процеса на взимането на решение.
Данните трябва да се разглежда като корпоративен актив. Той има измерима стойност, която е неразделна част от постигането на стратегическите цели за получаването на конкурентно предимство. Има три основни стъпки за да се гарантира качеството на данните.

На първо място, категоризирайте данните си. На практика, всички инструменти за профилиране на качеството ще разчита на процентите от полетата, които са запълнени, но за реалните представи се нуждаете да бъдете в състояние да прегледате ключови стойности на на данните. Например, има ли номера или символи в полетата, където е подходящо прилагането само на текст? Колко от вашите уникални идентификатори (клиентски номер, номер на сметка и т.н.) не са уникални? Тази информация може да ви помогне да определите големите различия в стойностите, аномалии и други съмнителни данни за да ви насочи към по-голями проблеми с качество на данните за организацията ви. След което, използвайте тези четири действия за почистване на данни. Третата стъпка  на качеството на данните е да запомните, че трябва да се изпълняват текущата поддръжка на данните. Почистването на данните не е еднократна операция. Дори най-добрите данни остаряват. Също така, клиентите имат безпрецедентен достъп до своите данни: онлайн, по телефона, по пощата, в магазин или клон, така че възможностите за промени и грешки са огромни за вашата система.

Процесът на качеството на данните включва термини като почистване на данни, проверка на данни, манипулиране на данните, тестове за качество на данните, рафиниране на данните, филтриране и настройка на данните.

Шест фактора на качеството на данните


При създаването на стратегия за качеството на данните, има шест фактора, или аспекти на дейността на организацията, които трябва да се вземат под внимание. А те са:

1. Контекст - типа на данните, които се почистват и целите, за които се използват;
2. Съхранение – където пребивават (съхраняват) данни;
3. Поток от данни – как данните влизат и се движат в организацията;
4. Работен процес – как трудовите дейности, взаимодействат и използват данните;
5. Стопани (stewardship) - хората, отговорни за управлението на данните;
6. Непрекъснат мониторинг на процесите за редовно валидиране на данните;


Долу показаната фигура изобразява шестте фактора, които са в центъра на целите за качеството на данните. Всеки фактор изисква решения, действия и разпределени ресурси.

Фактори за качеството на данните

Всеки фактор е елемент на оперативната среда на данните. Може да се разглежда и като цел на тази среда. На фигурата - фактора представлява събирането на решения, действия и ресурси, центриран върху елемент на оперативната среда на данни. Стрелките, простираща се от основните цели изобразяват връзката между целите и факторите, и илюстрират, че целите определят как ще се разгледа всеки фактор.

Фактор 1: Контекст

Контекста определя типа на данните и как се използват данните. В крайна сметка, контекстът на вашите данни се определят необходимите видове почистващи алгоритми и функции необходими, за да се повиши нивото на качеството. Примери от контекста и видовете данни, намиращи се във всяка връзка са:

• потребителските данни - имена, адреси, телефонни номера, номера на социални осигуровки и т.н.;
• Финансови данни - дати, кредитни стойности, баланси, заглавия, номера на сметки, и типове на сметката (отменими или общи кредити и т.н.);
• Приток на данни - номера, описания, количествата, доставчик кодове, и подобни;
• Телеметрични данни - например височина, скорост, посока, време и измерван тип.

Фактор 2: Съхранение

Всяка стратегия за качество на данните трябва да разгледа, къде са разположени физически данните . Като се има предвид, съхранение като фактор на качеството на данните гарантира физическо средство за съхранение включена в цялостната стратегия. Проблемите свързани със системната архитектура са доста важни, например дали данните са разпределени или централизирани, хомогенни или хетерогенни. Ако информацията се намира в корпоративно приложение, вида на приложението (CRM, ERP, и др), продавачът и платформа ще диктуват възможностите за свързване по отношение на данните.

Възможностите за свързване между данните и функцията за качество на данните, обикновено попадат в следните три категории:

• Извличане на данни - се появява, когато данните се копират от главната система.Именно тогава са почистени, обикновено в партидната операция, а след това са презареди обратно в главната система. Извличането се използва, поради различни причини, незначителното, от които, е това че е естествен (роден), директният достъп до главната система е както непрактично така и невъзможно.
• Вградените процедури - те са обратното на екстракции. Тук, функциите за качество на данните са вградени, може би компилирани в главната система. Кодирани по избор, съхранената програмирана процедура се извиква, за да се позове (се обръща към) функциите  на качеството на данни, обикновено по начина или стила на транзакциите . Вградените процедури се използват, когато стратегията диктува при най-голяма персонализация, контрол и най - стегнатата интеграция в оперативната среда.
•  Интегрирана функционалност - интегрирана функционалност е между извличане на данните и вградените процедури. Чрез използването на специализирани, предоставяни от производителите връзки, функциите за качество на данните са интегрирани в информационните системи на предприятието. Връзката дава възможност за бърза, стандартна интеграция с безпроблемна  операция и може да функционира било то по начина или стила на транзакциите или по груповия режим.

Фактор 3: Поток от данни

Всеки един от шестте стратегически фактора изгражда различно виждане за оперативна среда на данните. С контекста (типа на данните) и съхранението (физическото местоположение)се идентифицират , следващата стъпка в разработването на стратегия за качеството на данните е да се съсредоточи върху потока от данни - движението на данните.

Потока от данни е от значение, защото показва възможностите за достъп до данните, както и каталогизира  местоположенията в мрежовата среда, където данните са организирани и манипулирани. Потока от данни отговаря на въпроса: В рамките на оперативните ограничения, какви са възможностите за почистване на данни? Като цяло, такива възможности попадат в следните категории:

•  Транзакционни актуализации
• Оперативни емисии
• Закупените данни
• Наследствена миграция
• Редовната поддръжка

Фигурата показва, къде тези възможности могат да възникнат в една информационна верига . В конкретния случай маркетинга води генерационния работен процес, който се използва с придружаващите го поток от данни.

Фактор 4: Работен процес

Работният процес е последователност от физически задачи, необходими за изпълняване на дадена операция. В един автомобилен завод, работният процес може да се разглежда като движеща се поточна линия, всяко работно място отговаря за определен набор от задачи за монтаж. В ИТ или бизнес средата, работния процес е не по - малко дискретно, само без визуално стимулиране.

Когато мениджъра на профили поставя услуга разговор с клиент, мениджърът на профила изпълнява задача свързана с работният процес в същия процес - като сглобяване на двигател в кола.

Фигурата показва работен процес за главна функция, където перспективите посещават едновременно търговските изложения и предоставя информация за контакт към двата персонала. От там, работния процес продължава и събира, сключва, квалифицира, съпоставя, консолидира и разпространява довели до съответното лице за продажби, който след това добавя нова информация обратно към новия акаунт .

На фигурата по-горе, са посочени две различни понятия. Сензорни точки на работния процес , показани в лилаво са местата в работния процес, където се манипулират данните. Можете да ги разгледате като местоположения, където работния процес пресича потока от данни. Някои от тези местоположения, като "точката за улавяне(Point of Capture)", всъщност се създава потока от данни. възможностите за разполагане на качеството на данни, показани в лилаво, са специфичен вид софтуерно изпълнение, който позволява свързване или използване на функционалността на качеството на данните в необходимата точка.

Фактор 5:Стопанисване (стопани) 

Нито една стратегия не е пълна без оценка на човешкия фактор и неговото влияние върху операциите. Работните процеси и потоците от данни са инициирани от хората. Данните от само себе си нвмст никаква стойност, освен да изпълняват целите, възложени от хората.

Хората, които управляват информационните процеси в текущия жаргонен склад на данни, наричат настойниците на данни. Обикновен неспециализираният настойник(стопанин) в речника се дефинира като - " Човек, който управлява чуждо имущество, финанси, или други въпроси ". Разширявайки определението за нашите цели, настойникът на данни е лицето, което управлява информацията и дейностите, които обхващат създаването , улавянето, поддръжката, решенията, докладването, разпределението и изтриването на данните. Следователно едно лице, изпълняващо някоя от тези функции на една съвкупност от данни е настойникът на данни.

Фактор 6:Непрекъснат мониторинг (наблюдение) на процесите

Последният фактор в стратегията на качеството на данни е непрекъснатото наблюдение. Придържайки се към принципите на системата за цялостно управление на качеството (TotalQualityManagement), непрекъснатияt мониторинг e измерване, анализ, и след това непрекъснато подобряване на системата. Непрекъснатото проследяване е от решаващо значение за ефективното използване на данните, тъй като данните незабавно остаряват след улавянето им, както и бъдещите процеси на улавяне могат да генерират грешки.