数据质量制度

何谓数据质量可从两个方面来了解： 1.1. 数据本身数据质量 l 数据真实性。

数据必需真实正确反应实际发生业务。 l 数据完备性。

数据完备性是说数据是充足，任何相关操作数据全部没有被遗漏。 l 数据自洽性。

数据并不是孤立存在，数据之间往往存在着多种多样约束，这种约束描述了数据关联关系。数据必需能够满足这种数据之间关联关系，而不能够相互矛盾。 数据真实性、完备性、自洽性是数据本身应含有属性，称为数据绝对质量，是确保数据质量基础。

除了数据绝对质量外，还有我们在利用和存贮数据过程中所产生数据质量，包含使用质量、存贮质量和传输质量，称之为过程质量。 1.2. 数据过程质量 l 数据使用质量

数据使用质量是指数据被正确使用。再正确数据，假如被错误使用，就不可能得出正确结论。 l 数据存贮质量

数据存贮质量是指数据被安全存贮在合适介质上。所谓安全是指采取了合适方案和技术来抵制外来原因，使数据免受破坏，备份是我们常使用技术，包含异地备份和双机备份等，美国9.11事件和 底发生印度洋海啸事件使越来越多企业领导意识到备份尤其是异地备份关键性；所谓存贮在合适介质上是指当需要数据时候能立即方便取出。 l 数据传输质量

数据传输质量是指数据在传输过程中效率和正确性。在现代信息社会中，数据在异地之间传输越来越多，确保传输过程中高效率和正确性很关键。

2. 数据质量和数据一致性

在工作中我们发觉，很多用户甚至部分数据仓库项目标开发人员常常将数据质量和数据仓库项目开发中ETL过程数据一致性混为一谈，错误认为数据仓库项目（也即ETL过程）能够修复数据以提升数据质量，其实数据质量和ETL过程数据一致性是两个不一样概念。

ETL过程数据一致性是指依据相同业务了解（基于源系统模型和基于数据仓库模型），在源系统查询和统计信息和在数据仓库中得到结果在各个细节层次（包含明细层次）上全部是相同。数据一致性是ETL过程必需确保。

数据质量是存在于企业源系统中，如常见用户代码不规范，同一个用户在不一样系统中（比如业务处理系统和财务系统）有不一样代码，甚至同一个用户在同一个系统中也有不一样代码，以保险企业业务处理系统为例，同一个用户前后在同一个保险企业投保，不一样员工可能会输入不一样用户代码；更常见是那些没有实现大集中分布式应用，同一个用户（如工商银行）在不一样分企业（如河南分企业和湖北分企业）投保，员工很可能会输入不一样代码；再如，在业务处理系统中，有些录入人员为了录入方便，常常将部分内容不输或采取默认值，造成部分关键录入信息缺失或错误。这些数据质量问题对我们数据分析系统造成严重干扰和破坏。

数据仓库项目即使不能够修复数据以提升数据质量，但能发觉存在部分问题从而提醒用户哪些数据是有质量问题，给出用户部分改善提议，同时在分析和决议时应降低对这些数据依靠程度，也能够提供辅助方法跟踪、监测数据质量问题。 3. 数据质量关键性

数据信息是企业关键战略资源，合理有效使用正确数据能指导企业领导作出正确决议，提升企业竞争力。不合理使用不正确数据（即差数据质量）可造成决议失败，正可谓差之毫厘、谬以千里。

现在很多大型企业已意识到数据信息和数据质量关键性，专门成立了数据中心来管理数据方面工作。 4. 数据质量不高原因

我们数据来自于数据录入人员经过信息技术手段（开发计算机处理系统）输入到系统中，所以数据质量不高起源于下面两方面： 4.1. 信息技术手段

现代信息技术已足以确保数据存贮和传输质量，不是本文讨论关键，不过多叙述。造成我们计算机处理系统得到数据质量不高原因，很多情况是我们计算机处理系统用户界面不友好，不方便用户录入，或是不符适用户常规操作习惯，造成用户轻易犯错或是录入工作量大；对关键录入信息没有加强效验。 4.2. 数据录入人员

因为数据录入人员输入失误，或是违反操作步骤（有意或不是有意），是造成数据质量不高另一个关键原因。这个问题，能够从两个方面来看待： l 数据录入人员责任心不强和业务素质不高。

l 基层领导对数据质量不重视。业务收入是基层生命线，基层领导不会投入大量人力和物力来抓数据质量，因为市场竞争猛烈，有时基层领导为了争夺用户甚至会让录入员作出部分违规操作，基层领导对数据认识和管理和高层领导对数据需求形成矛盾，这一矛盾是造成数据质量不高一个关键矛盾。 5. 怎样做好数据质量管理工作

怎样做好数据质量管理工作，笔者认为能够从三个方面抓起： 5.1. 提升对数据认识

我们只有认识到数据在管理中关键作用，才会反过来重视数据质量问题。要让企业每一个职员全部能认识到数据是企业关键战略资源，企业一切决议全部起源于数据。没有正确高质量数据，就没有正确决议。国外有一个谚语“Garbage in，garbage out”（进去是垃圾，出来还是垃圾），试问，我们决议时使用是垃圾，又怎能期待得到好决议呢？！ 5.2. 信息技术确保

采取优异开发技术，开发出用户界面比较友好系统，降低操作员录入工作量和出现错误可能性；同时在开发前要充足考虑用户需求，预防出现业务处理软件不能满足用户要求、操作员采取违规操作现象。

开发数据检测、检验工具，立即发觉数据质量问题，立即纠正，要知道，发觉问题越早纠正成本就会越低，一个蚁穴不立即修补会造成千里之溃决。 5.3. 完善制度管理

在企业上下建立起完善数据负责制度，并和职员绩效和奖惩挂钩，有条件企业能够成立专门组织和机构负责数据管理工作。