数仓系列之元数据及其管理

元数据摘要元数据是“关于数据的数据”用于描述数据的结构、含义和管理规则主要分为技术元数据与业务元数据。它在数据集成、质量保障、语义理解及系统可维护性方面发挥着核心作用。本文系统阐述元数据的定义、分类、核心价值并深入探讨元数据管理的现状、标准、功能及主流工具。概述5大类模块共同构成元数据框架定义元数据Metadata是关于数据的数据。在数据仓库系统中元数据可帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据元数据是描述数据仓库内数据的结构和建立方法的数据可将其按用途的不同分为两类技术元数据Technical和业务元数据Business。技术元数据是存储关于数据仓库系统技术细节的数据是用于开发和管理数据仓库使用的数据它主要包括以下信息数据仓库结构的描述包括仓库模式、视图、维、层次结构和导出数据的定义以及数据集市的位置和内容业务系统、数据仓库和数据集市的体系结构和模式汇总用的算法包括度量和维定义算法数据粒度、主题领域、聚集、汇总、预定义的查询与报告由操作环境到数据仓库环境的映射包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全用户授权和存取控制。业务元数据从业务角度描述数据仓库中的数据提供介于使用者和实际系统之间的语义层使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据。主要包括以下信息使用者的业务术语所表达的数据模型、对象名和属性名访问数据的原则和数据的来源系统所提供的分析方法以及公式和报表的信息具体包括以下信息企业概念模型这是业务元数据所应提供的重要的信息它表示企业数据模型的高层信息、整个企业的业务概念和相互关系。以这个企业模型为基础不懂数据库技术和SQL语句的业务人员对数据仓库中的数据也能做到心中有数。多维数据模型这是企业概念模型的重要组成部分它告诉业务分析人员在数据集市当中有哪些维、维的类别、数据立方体以及数据集市中的聚合规则。数据立方体表示某主题领域业务事实表和维表的多维组织形式。业务概念模型和物理数据之间的依赖以上提到的业务元数据只是表示出数据的业务视图这些业务视图与实际的数据仓库或数据库、多维数据库中的表、字段、维、层次等之间的对应关系也应该在元数据知识库中有所体现。作用与其说数据仓库是软件开发项目还不如说是系统集成项目因为它的主要工作是把所需的数据仓库工具集成在一起完成数据的抽取、转换和加载OLAP分析和数据挖掘等。如下图所示它的典型结构由操作环境层、数据仓库层和业务层等组成。图其中第一层操作环境层是指整个企业内有关业务的OLTP系统和一些外部数据源第二层是通过把第一层的相关数据抽取到一个中心区而组成的数据仓库层第三层是为了完成对业务数据的分析而由各种工具组成的业务层。图中左边的部分是元数据管理它起到了承上启下的作用具体体现在以下几个方面元数据是进行数据集成所必需的数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上还体现在实施数据仓库项目的过程当中。一方面从各个数据源中抽取的数据要按照一定的模式存入数据仓库中这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中另一方面在数据仓库项目实施过程中直接建立数据仓库往往费时、费力因此在实践当中人们可能会按照统一的数据模型首先建设数据集市然后在各个数据集市的基础上再建设数据仓库。不过当数据集市数量增多时很容易形成“蜘蛛网”现象而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中注意了元数据管理在集成到数据仓库中时就会比较顺利相反如果在建设数据集市的过程中忽视了元数据管理那么最后的集成过程就会很困难甚至不可能实现。元数据定义的语义层可帮助用户理解数据仓库中的数据最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术因此迫切需要有一个“翻译”能够使他们清晰地理解数据仓库中数据的含意。元数据可实现业务模型与数据模型之间的映射因而可把数据以用户需要的方式“翻译”出来从而帮助最终用户理解和使用数据。元数据是保证数据质量的关键数据仓库或数据集市建立好以后使用者在使用的时候常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的使用者很自然地对结果产生怀疑。而借助元数据管理系统最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到这样他们自然会对数据具有信心当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维从更高的角度上来解决这一问题。元数据可支持需求变化随着信息技术的发展和企业职能的变化企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可把整个业务的工作流、数据流和信息流有效地管理起来使得系统不依赖特定的开发人员从而提高系统的可扩展性。元数据管理现状元数据可被称为是数据仓库系统的灵魂元数据在整个数据仓库生命周期中有着重要的地位各个厂商的数据仓库解决方案都提到关于对元数据的管理。但是对于元数据的管理各个解决方案都没有明确提出一个完整的管理模式目前提供的仅仅是对局部元数据的管理。元数据相关工具大致可分为五类数据抽取工具将业务系统中的数据抽取、转换、集成到数据仓库中如中软数据的ETL产品SEDWA、Pentaho的开源ETL产品Kettle等。前端展现工具系统可进行OLAP分析、报表和商业智能工具等如Cognos的PowerPlay及帆软的FineBI/FineReport中软数据的SoftEasyBI等。它们通过把关系表映射成与业务相关的事实表和维度表来支持多维业务其中中软数据的SoftEasyBI和SEDWA可全面支持分析服务包含SSAS服务和表格模型进而对数据仓库中的数据进行多维分析。这些工具都提供业务元数据与技术元数据相对应的语义层。建模工具为非技术人员准备的业务建模工具可提供更高层的与特定业务相关的语义。如CA的ERwin、Sysbase的PowerDesigner以及Rational Rose等。元数据存储工具元数据通常存储在专用的数据库中外部无法知道这些工具所用到和产生的元数据是如何存储的。元数据知识库Metadata Repository工具它们独立于其它工具为元数据提供一个集中的存储空间。包括微软的RepositoryArdent的MetaStage、Sybase的WCC和SEDWA等。元数据管理工具IBM、CA等公司都提供的专门元数据管理工具如IBM收购Ascential得到MetaStageCA的DecisionBase都是如此DAG的MetaCenter开源产品Pentaho Metadata它们不依托于某项BI产品是一种第三方的元数据管理工具公司开发收费元数据管理平台SEDWA、普元MetaCube、石竹MetaOne等。标准近几年随着元数据联盟MDCMeta Data Coalition的开放信息模型OIMOpen Information Model和OMG组织的公共仓库模型CWMCommon Warehouse MetaModel公共仓库元模型标准的逐渐完善以及MDC和OMG两个组织的合并为数据仓库厂商提供统一标准为元数据管理提供奠基石。元数据管理主要有两种方法对于相对简单的环境按照通用的元数据管理标准建立一个集中式的元数据知识库对于比较复杂的环境分别建立各部分的元数据管理系统形成分布式元数据知识库然后通过建立标准的元数据交换格式实现元数据的集成管理OMG家的CWM标准已成为元数据管理界的统一标准。OMG是一个国际标准化组织CORBA标准即出自该组织。CWM的主要目的是在异构环境下帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。2001年3月OMG颁布CWM 1.0标准。CWM模型既包括元数据存储也包括元数据交换基于三个工业标准制定UML它对CWM模型进行建模MOF元对象设施OMG元模型和元数据的存储标准提供在异构环境下对元数据知识库的访问接口为构造模型和元模型提供可扩展的框架并提供存取元数据的程序接口XMIXML元数据交换使元数据以XML文件流的方式进行交换增强CWM通用性OMG元数据知识库体系结构CWM为数据仓库和BI工具之间共享元数据制定一整套关于语法和语义的规范主要包含以下四个方面的规范元模型MetaModel描述数据仓库系统的模型XMLCWM元模型的XML表示DTDDW/BI共享元数据的交换格式IDLDW/BI共享元数据的API功能数据地图数据地图展现是以拓扑图的形式对数据系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现并通过不同层次的图形展现粒度控制满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要元数据分析血缘分析亦血统分析指从某一实体出发往回追溯其处理过程直到数据系统的数据源接口。对于不同类型的实体其涉及的转换过程可能有不同类型如对于底层仓库实体涉及的是ETL处理过程而对于仓库汇总表可能既涉及ETL处理过程又涉及仓库汇总处理过程而对于指标则除了上面的处理过程还涉及指标生成的处理过程。数据源接口实体由源系统提供作为数据系统的数据输入其它的数据实体都经过一个或多个不同类型的处理过程。血缘分析可让使用者根据需要了解不同的处理过程每个处理过程具体做什么需要什么样的输入又产生什么样的输出。影响分析从某一实体出发寻找依赖该实体的处理过程实体或其他实体。可采用递归方式寻找所有的依赖过程实体或其他实体。支持当某些实体发生变化或者需要修改时评估实体影响范围。实体关联分析从某一实体关联的其它实体和其参与的处理过程两个角度来查看具体数据的使用情况形成一张实体和所参与处理过程的网络从而进一步了解该实体的重要程度。可用来支撑需求变更影响评估的应用。实体差异分析实体差异分析是对元数据的不同实体进行检查用图形和表格的形式展现它们之间的差异包括名字、属性及数据血缘和对系统其他部分影响的差异等,在数据系统中存在许多类似的实体。这些实体如数据表可能只有名字上或者是在属性中存在微小的差异甚至有部分属性名字都相同但处于不同的应用中。由于各种原因这些微小的差异直接影响了数据统计结果数据系统需要清楚了解这些差异。本功能有助于进一步统一统计口径评估近似实体的差异指标一致性分析用图形化的方式来分析比较两个指标的数据流图是否一致从而了解指标计算过程是否一致。是指标血缘分析的一种具体应用。可帮助用户清楚地了解到将要比较的两个指标在经营分析数据流图中各阶段所涉及的数据对象和转换关系是否一致帮助用户更好地了解指标的来龙去脉清楚理解分布在不同部门且名称相同的指标之间的差异从而提高用户对指标值的信任。辅助应用优化元数据对数据系统的数据、数据加工过程以及数据间的关系提供了准确的描述利用血缘分析、影响分析和实体关联分析等元数据分析功能可识别与系统应用相关的技术资源结合应用生命周期管理过程辅助进行数据系统的应用优化辅助安全管理企业数据平台所存储的数据和提供的各类分析应用涉及到公司经营方面的各类敏感信息。因此在数据系统建设过程中须采用全面的安全管理机制和措施来保障系统的数据安全。数据系统安全管理模块负责数据系统的数据敏感度、客户隐私信息和各环节审计日志记录管理对数据系统的数据访问和功能使用进行有效监控。为实现数据系统对敏感数据和客户隐私信息的访问控制进一步实现权限细化安全管理模块应以元数据为依据由元数据管理模块提供敏感数据定义和客户隐私信息定义辅助安全管理模块完成相关安全管控操作。基于元数据的开发管理数据系统项目开发的主要环节包括需求分析、设计、开发、测试和上线。开发管理应用可提供相应的功能对以上各环节的工作流程、相关资源、规则约束、输入输出信息等提供管理和支持。工具Apache Atlas强大的元数据管理工具。默认情况下Apache Atlas使用JanusGraph作为图形存储库。参考Apache Atlas。wherehowsWhereHows是LinkedIn一个用于大数据发现和管理的工具集成所有主要的数据处理系统可进行分类收集和元数据操作。方便内部员工发现公司内部的数据跟踪数据集的移动和查看各种内部工具和服务的动向。可解决很多公司面临的大数据内部分享的问题提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。参考聊一聊数据仓库中的元数据管理系统没有规矩不成方圆元数据管理标准及工具LinkedIn-WhereHows之ETL插件使用