欢迎来到中国化工信息杂志
让主数据成为化工企业数据治理的抓手
2022年15期 发行日期:2022-08-12
作者:■ 中化信息技术有限公司 张一凡

  现今的世界已经是一个数字化的世界,中国从曾经的办公自动化(电算化),经历了信息化,现在正处在加快数字化发展到全面进入数字化时代的新阶段。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出“以数字化转型整体驱动生产方式、生活方式和治理方式变革”,为未来数字化转型指明了方向。而今云计算、大数据、物联网、人工智能和移动互联等为代表的数字技术不断涌现,数据在其中扮演着极其重要的角色。这些新技术离不开数据,都围绕着数据应用而开展。数据也因伴随着新技术的普遍运用而发挥更大的价值,成为一种新型生产要素。

  数据是数字化转型的基础,主数据既是数据中的基础数据,也是核心数据。数据治理为数字化转型提供保障,也要为数字化转型赋能。企业在整个社会的数字化转型中具有重要的地位和作用,能源化工类企业在长期的生产经营活动中积累了海量数据。这些非数字原生企业在转型中如何通过数据治理手段,完成企业的数字战略重组,无疑会面临着更多压力和挑战。笔者认为,能源化工等传统工业企业,在数字化转型初期或者企业发现大量业务数据出现质量问题的时候,大多是可以选择以主数据治理为抓手作为切入点,进行数据治理工作,同时主数据治理的成功也能够为企业数字化转型打下坚实的基础。

数据治理标准和框架

  实际上,数据治理不是一个新概念,其20多年以前就已经产生了,起源于数据质量管理计划。数据治理的目标是持续不断地提高数据质量。在国内,通常采用和参考的数据治理标准和框架有:

  1.国际数据管理协会(DAMA)出版的《DAMA数据管理知识体系指南》(DAMA-DMBOK),目前是第二版DMBOK2,对数据治理的定义是在管理数据资产过程中行使权力和管控,包括计划、监控和实施。并定义了以数据治理为中心,包括主数据和参考数据管理等11个数据管理知识领域的管理框架。

  2.《GB/T 34960.5-2018 信息技术服务 治理 第5部分:数据治理规范》,提出了数据治理的总则和框架,规定了数据治理的顶层设计、数据治理环境、数据治理域及数据治理过程的要求。对数据治理的定义是数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。

  3.《GB/T 36073-2018 数据管理能力成熟度评估模型》(DCMM),包含8个数据管理能力域,每个能力域又包含若干能力项,共29个。其中参考数据和主数据作为能力项包含在数据标准能力域中。

主数据和主数据管理的概念

  1.主数据

  虽然主数据的定义不统一,但核心内容基本都是一致的,这里采用中国信通院在《数据资产管理实践白皮书》中给出的定义,主数据是指用来描述企业核心业务实体的数据,是跨越各个业务部门和系统的、高价值的基础数据。主数据也被称为“黄金数据”,如果把信息系统比做人体,交易数据就是血液,主数据就是其中的细胞。在实际应用中,主数据也会把参考数据包括在内。主数据的主要特性有唯一性、共享性、一致性、有效性和相对稳定性,这些也是识别主数据的判断依据。

  当然主数据是一个“老”概念,在现今已经不属于“热词”了,已然少有提及。各种中台、数据湖、数字孪生、元宇宙等数字化时代的“新”词不断涌现,喜“新”是人类个性使然,在这个时代唯有追“新”才敏捷。但我们需要静下来思考一下主数据是否过时了呢?在国内,主数据这个词频繁被提及应该还是在国内企业大规模实行信息化变革的年代。如今企业的信息化任务已经基本完成,现在的使命是要由信息化快速迈进数字化,完成企业自身的数字化转型。从此角度看,主数据这个词少有提及也属正常。但少提及或不提及,并不代表主数据过时了,恰恰相反,主数据是可以作为数据治理的切入点,成为数据治理的一个重要抓手。主数据作为“黄金数据”更会突显主数据的价值。一位资深的数据管理专家,有雅号“数据语者”(Date Whisperer)称呼的斯科特·泰勒(Scott Taylor)曾经写道:“主数据在大趋势中永不过时!”

  2.主数据管理

  主数据管理(MDM)是一系列规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据。这里更推荐国际著名IT研究咨询公司高德纳(Gartner)所强调的主数据管理是一个由人、流程和技术组成的知识领域,并不是一个特定的应用程序解决方案。换句话说,主数据管理是以人为主导,同时辅以相关流程和技术,三者是有机的结合。不能片面地理解为只是管理主数据的应用系统或产品,主数据管理应该成为企业重要的数据资产管理活动之一。

  主数据管理的意义和作用,企业管理层、业务人员等不同层面的人会有不同的认识。从企业整体角度看,主数据的集中管理可以打通数据壁垒,统一数据语境,提高数据质量,有助于决策分析。对提升企业数字化建设的核心竞争力、提升业务和数据管理能力都有着重要意义。

  3.参考数据、元数据、交易数据与主数据的关系

  参考数据是为主数据提供代码表和描述表,在实际管理活动当中我们所说的主数据时通常都包括了参考数据。参考数据和主数据都有着相似的用途,它们的区别在于参考数据相对主数据来说更加稳定而不易变化,主数据则属于相对静态的。

  元数据作为“描述数据的数据”,具有业务、技术和管理三个属性。元数据可以认为是主数据的基础,元数据管理是作为一个单独的数据管理活动。

  交易数据是业务活动中产生的数据,是实时变化的,属于动态数据,主数据是交易数据的基础。

  总之,这四个概念既有区别又有联系,特别是参考数据、元数据、主数据这三个概念的含义并不是泾渭分明,在实际使用中要灵活掌握运用。

主数据治理的实施方法

  首先要理清数据治理、数据管理二者之间的关系。目前对于数据治理与数据管理二者关系的争论有很多,有的说数据治理大于数据管理,还有的说数据管理包含数据治理,各执一词。确实在国标《数据治理规范》中,数据治理域包括了数据管理。而DAMA-DMBOK中,明确了数据管理是包括了数据治理等11个领域。笔者认为从内涵上,实际上这二者并不矛盾,只是对数据管理本身有广义、狭义的表述。从广义方面理解,数据管理是包括了数据治理等管理活动的;从狭义方面理解,数据治理是顶层设计、是战略,是自上而下的活动。数据管理是落实数据治理成果和目标的活动,是执行层面的。数据治理不是一种短期行为,是持续性的项目集。数据管理是在日常持续的管理活动中,不断地提升优化,达到数据治理目标。

  以某能源化工企业(以下简称Y公司)为例,简要介绍一下其主数据治理项目的实施方法(见图1)。

  Y公司在早期的信息化建设中,由各业务部门陆续建设了各自的信息系统,形成了大量“信息孤岛”。各系统的主数据不统一,系统间的数据无法互通,增加了大量的数据加工成本,对管理层的统一经营分析造成严重影响。 

  因此,Y公司制定了主数据治理目标:统一主数据标准,建设主数据系统,对ERP、CRM等核心业务系统进行数据清洗,消除“信息孤岛”,以保证业务系统主数据的一致性。

  (一)现状调研与需求分析

  1.调研

  主要按照企业战略、业务部门和信息系统三个方面开展调研工作。调研通过访谈、问卷、资料收集等方式进行,内容包括企业战略规划、现行标准使用现状和未来业务需求,同时还应关注到跨信息系统的需求。

  2.开展主数据管理成熟度评估

  更好地确定主数据治理的切入点,是对企业主数据整体现状的摸底。

  3.识别企业主数据

  通过需求分析,运用识别方法,Y公司确定了企业统一管控的客户、供应商、物料、会计科目等主数据对象。

  (二)建立主数据管理体系

  1.建立主数据管控机制

  这是主数据治理成功的有力保障,伴随着业务变革,成立了数据治理委员会作为主数据管理的最高领导机构,信息部是主数据的日常管理部门,建立主数据运营团队,明确了各类主数据的责任部门(Data Owner)。制定各相关机构的主数据管理职责及人员岗位职责,并制定了主数据管理制度。

  2.设立主数据管理流程

  其目的是为了能够按照不同主数据的分级管理规定来执行主数据标准。Y公司为每类主数据都设立了新增、变更、冻结、删除、发布等流程。

  主数据新增流程:以“谁使用谁申请”为原则,使用者提出申请,经审批通过后发布使用。

  主数据变更流程:变更需求的提出必须严谨,在业务需求或场景发生改变后,提交变更需求时必须附有相关证明材料,作为审核的必要依据。审核时还须评估变更后,对业务和系统带来的影响。在变更审批通过后发布使用。

  主数据冻结流程:冻结流程可以认为是变更的一种特例,与变更流程的审批同样要求。

  主数据删除流程:删除流程一般是在冻结流程发生后,该条主数据已经失效。审批时必须慎重,确认审批通过后不会带来业务和系统影响。

  主数据发布流程:一般情况下,主数据会在最后一个环节审批后自动发布。当某些业务系统需要使用该条主数据时,需要人工再次提交发布审批需求,经审批通过后发布使用。

  3.建立主数据标准

  这是保证数据质量的前提,数据标准管理也是数据治理中的一个重要环节。

  这里通常有人也会产生一个疑问,既然数据标准如此重要,为什么在DAMA-DMBOK中的11个数据管理域却没有“数据标准”呢?对此需要解释一下,在国标《数据管理能力成熟度评估模型》中,数据标准是作为一个能力域存在的,DAMA-DMBOK的知识领域中没有单独的“数据标准”域。笔者认为,这只是两者的表达方式和角度不同,中国人做事讲究建章立制,“标准”要凸显出来,单独成章。DAMA-DMBOK则是把“标准”渗透在每篇章节里,11个知识领域的内容里实际上都没有离开“标准”。二者并没有对“数据标准”的重要性产生巨大分歧,而是用不同的方式表达了“标准”的重要性。

  Y公司根据识别确定的主数据,制定了相应的主数据标准,包括分类、编码规则、属性字段和数据结构等。

  对于物料主数据,Y公司所处行业是流程型连续性生产行业,要根据流程型行业的特点制定物料分类。明确了物料主数据的来源及范围是在生产、采购、销售、科研等各个环节都使用的物料。

  物料分类划分通常是以自然属性为主要原则。物料分类设计参考《国民经济行业分类》(GB/T4754-2011),结合能源化工行业特点,把物料的自然属性作为划分的第一原则,同时兼顾集采等应用要求。最终将物料分类按照线分类法分为大、中、小类三级,每级之间的关系是父级与子级的关系。每个分类根据属性特点,又划分了若干的特征属性(见图2)。  

  分类编码基于《GB/T 7027-2002 信息分类和编码的基本原则与方法》,采用大类2位、中类4位、小类6位的有含义和无含义相结合的流水码。物料编码为10位无含义流水码,并确定了编码段范围。

  物料遵循“一物一码”原则,根据物料特征属性来确定其唯一性。

  4.建立主数据质量体系

  主数据质量是主数据生存的“生命线”。数据质量与数据标准是息息相关的,数据标准是保证数据质量的前提条件,数据质量是数据标准落地的具体体现。数据治理的核心目标就是持续不断地提升数据质量。

  Y公司根据数据质量控制原则,基于PDCA方法,对数据进行全生命周期管理,从数据的唯一性、真实性、完整性、准确性、及时性、标准规范化程度等方面建立了质量管理制度。

  5.建立主数据技术体系

  主数据技术体系包括主数据系统架构与系统集成架构两个方面。主数据系统架构具备元数据管理、数据清洗、数据质量和数据模型管理等功能;系统集成架构采用企业服务总线与业务系统集成,根据不同业务系统实现“广播推送”或“定向拉取”的方式。

  6.建立主数据安全体系

  保障数据安全是数据治理的底线,主数据作为重要的数据资产,保障其数据安全更是十分重要。在企业内要建立数据安全治理目标,有相应的数据安全管理组织和认责机制,制定数据安全管理制度,全员开展数据安全培训等管理手段。同时还要通过技术手段对系统进行安全防护,比如:采用身份认证、加密技术、敏感数据分级管理、备份等技术手段。因数据安全体系在数据治理中自成体系,在此不过多赘述。

  (三)制定主数据清洗方案

  主数据清洗是对系统内发现的不正确、不完整、重复等数据进行纠正的过程。企业要根据不同类别的主数据制定不同的主数据清洗方案,同时必须结合业务梳理,明确所清洗主数据的业务发生时间范围。主数据清洗不能只有技术人员参与,业务人员的参与更为重要。技术人员要利用一些数据清洗工具,根据不同场景制定数据转换规则。

  (四)主数据系统建设

  Y公司经过主数据系统建设,将主数据治理成果成功落地。通过此次主数据治理项目,企业建立了较完善的主数据管理体系,统一管理物料、客户、供应商、科目、人员等主数据,搭建了一套主数据系统。通过企业服务总线实时将审批通过的数据分发至ERP、CRM等业务系统,实现了各业务系统主数据的打通,提高了企业业务数据质量,实现了本次主数据治理的目标。

  值得注意的是,主数据治理是一个持续不断的过程,不是一个项目完成就把问题全解决了。企业特别要避免重系统建设,轻日常管理;要保持数据治理成果的长效,良好的持续运营必不可少。

  随着大数据、人工智能技术的发展,主数据技术也在不断地与新技术融合,人工智能与主数据管理相结合是必然趋势。有了人工智能、大数据算法等新技术的助力,主数据依然能够为企业的数字化转型奠定坚实的基础。


当前评论