数据仓库系列之元数据管理系统

元数据管理系统软件这一专有名词坚信许多小伙伴全是第一次听闻,自然,从业非数据仓库工作中的人,非常少会触及到这一系统软件,即使是已经从业这方面工作中的好朋友,很有可能依然对它没有很掌握,那麼今日一起和小黎子来简易聊一聊元数据管理系统软件。

元数据(Meta Data),关键纪录数据仓库中实体模型的界定、各等级间的投射关联、监管数据仓库的数据情况及 ETL 的每日任务运作情况。一般会根据元数据信息库(Metadata Repository)来统一地储存和管理元数据,其首要目标是使数据仓库的设计方案、布署、实际操作和管理能达到协作和一致。元数据是数据仓库管理系统软件的关键构成部分,元数据管理是私有云数据仓库中的重要部件,围绕了数据仓库的一整个生命期,应用元数据推动数据仓库的开发设计,使数据仓库自动化技术,数据可视化。

搭建数据仓库的关键流程之一是 ETL。这也是元数据将起到至关重要的功效,它界定了源数据系统软件到数据仓库的投射、数据变换的标准、数据仓库的逻辑结构、数据升级的标准、数据导进历史数据及其运载周期时间等相关内容。数据提取和转变的权威专家及其数据仓库管理员恰好是根据元数据高效率地搭建数据仓库。

元数据

客户在应用数据仓库时,根据元数据浏览数据,确立数据项的涵义及其订制表格。数据仓库的经营规模以及多元性离不开恰当的元数据管理,包含提升或清除外界数据源,更改数据清理方式,操纵出差错的查看及其分配备份数据等。

一、元数据种类

元数据可分成技术性元数据、业务流程元数据和管理全过程元数据。

1、 技术性元数据为开发设计和管理数据仓库的 IT 工作人员应用,它叙述了与数据仓库开发设计、管理和维护保养有关的数据,包含数据源信息、数据变换叙述、数据仓库实体模型、数据清理与升级标准、数据投射和访问限制等。

2、 业务流程元数据为管理层和业务剖析工作人员服务项目,从项目视角叙述数据,包含商专业术语、数据仓库中有哪些数据、数据的具体位置和数据的易用性等,协助业务员能够更好地了解数据仓库中什么数据是可以用的及其怎么使用。

3、 管理全过程元数据指叙述管理行业有关的定义、关联和规范的数据,主要包含管理步骤、工作人员机构、人物角色岗位职责等信息。

二、元数据作用

1、血缘关系剖析:往上追朔元数据目标的数据由来。血缘关系剖析可以协助您轻轻松松回应:'我正在查询的汇报数据由来是啥?'及其'对现阶段剖析的数据运用了什么变换解决?'等问题。那样的体制及对那些问题的回应保证了对所研究的数据更高一些的信赖水准,并有利于完成很多领域(包含诊疗、金融业、金融机构和加工业等)对所展现数据的独特管控及合规规定。

2、危害剖析:往下追朔元数据目标对中下游的危害。影响剖析可以让您简单解决变动很有可能造成的危害,自动检索与其说相应的依靠项和不确定性的危害还能够追踪全部目标以及相互依赖,最终大家还给予数据项目生命周期的数据可视化表明。例如,假如您的某一信息系统软件中提前准备将“销售总额”从包括税金更改成不包括税金,则SE-DWA将全自动表明全部应用了“市场销售额度”字段名,便于您可以明确有什么工作必须进行,而且建议在调整前进行该工作中。

3、同歩查验:检查源表到总体目标表的数据构造是不是产生变动。

4、指标值一致性剖析:按时剖析指标值界定是不是和具体情况一致。

5、实体线关联查询:客观事实表与维度表的代理商键全自动关系

三、元数据运用

1、ETL自动化技术管理:应用元数据信息自动生成概念模型,ETL程序流程脚本制作,每日任务相互依赖和生产调度程序流程。

2、数据品质管理:应用数据品质标准元数据开展数据品质精确测量。数据品质依据设置的标准协助您过虑出有什么问题的数据,并数据分析系统数据品质缺点。

3、数据安全性管理:应用元数据信息开展表格权限管理。可以便捷查询客户和访问限制,并开启目标级和行级安全性管理。目标级安全系数保证根据身份认证的客户只有浏览她们被受权查询的数据、表或列,其他数据则不由此可见。根据行的安全系数会更进一步,可以限定特殊的组员只可以浏览表格中特殊的数据。

4、数据规范管理:应用元数据信息转化成规范的层面实体模型。

5、数据插口管理:应用元数据信息开展插口统一管理。多种多样数据源连接,并保证多种多样软件连接最受欢迎的源系统软件。应当可以简易便捷获得数据。

6、新项目文本文档管理:应用元数据可以全自动、便捷的转化成的健硕全方位的新项目文本文档,其以协助您解决各种各样针对数据合规规定。载入元数据实体模型,并转化成pdf格式的描述文件。生成文本文档您查询每一个目标的名字、设定、叙述和编码。

7、数据词义管理:业务流程客户在自助服务终端剖析中面临的挑战她们不了解数据仓库进而无 ** 确表述数据,应用元数据可以词义层模型,应用便于业务流程客户了解的形容来变换数据。

四、汇总

由上由此可见,元数据不但界定了数据仓库中数据的方式、由来、提取和转换方法等,并且是全部数据仓库系统软件运作的基本,元数据把数据仓库系统软件中每个疏松的部件联络起來,构成了一个总体数据仓库解决方法。

Copyright © All Rights Reserved

扫码免费用

源码支持二开

申请免费使用

在线咨询