`
whzhaha
  • 浏览: 84971 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

元数据管理之MetaStage研究

阅读更多
针对以下技术指标进行针对性的研究及回答(一个都不能少):
1、对异构数据源的支持能力:支持任何异构的数据源,支持从多数据源读取数据;
  答:只要安装相应的MetaBroker就可以支持。比于(BusinessObjects MetaBroker,DataStage 7 MetaBroker,ODBC 3.0 MetaBroker,ProfileStage 7 MetaBroker。。)

2、追溯管理:从目标到源的追踪功能,是否能够清晰描述从目标到源的跟踪功能;
  答:可以,针对每个元数据他都有一个冲突分析(Impact Analysis)都有一个
Where used 和Depends On, , 其中Where Used 用
于分析哪些元数据使用了该元数据,比如一张表属于哪个数据库,Depends On 用于分
析哪些元数据依赖于该元数据,比如一张表有那些字段。现在就拿BUSSINESS OBJECT的元数据来:

我们选择DW_DIM_HY去Impact Analysis—》Where Used可以得到谁使用了该元数据

我们选择DW_DIM_HY去Impact Analysis—》Depends On可以得到哪些元数据依赖于该元数据



3、依赖管理:能否提供从业务指标到技术指标的对应关系;能否提供从业务指标到技术指标的对应关系;
答:可以,上面已经解释

4、可定制性及权限管理:是否能够为不同的用户生成定制的元数据视图;对用户权限能灵活管理;
答:MetaStage 提供的安全支持是通过 MetaStage 管理员指定哪一个 MetaStage 功能授权让用户运行来实现的。每个用户都分配一个角色,管理员为每个角色都定义一组特权。每个特权都对应于 MetaStage Explorer 中的一个功能。例如,建立一个发布,或订阅某个发布。仅当拥有适当特权的角色才能编辑用户和角色。
管理员通过限制对 MetaStage 功能的访问,或通过审查用户的元数据共享请求,控制用户共享的元数据。管理员也负责安装和许可运行在 MetaStage 目录和外部数据集成工具之间交换元数据所需要的MetaBrokers。

5、对业务变化的适应性:如果数据结构变化,需要修改元数据,元数据发生修改。当数据仓库处理过程的元数据修改之后,这个修改能否自动反映到数据仓库的其它处理过程中;
答:可以,他有个IMPACT分析就是反映元数据的修改后的影响情况
   操作型元数据的数据血统(Data Lineage)调查使用户能够找出数据项的历史,例如,它的来源、状态和最后修改时间等。组合使用 Data Lineage 和 Impact Analysis 时,可以得出诸如“数据来自哪一个特定物理目标表的特定列”和“最后一次得到数据的时间”等问题的答案。
  Process Analysis 通过考察操作型元数据,使用户能够察看处理过程执行情况的历史,可以得到诸如“每一个可执行的处理过程最后一次运行时的详细信息是什么?”,“这个处理过程最后三次运行时每一次使用的都是哪些参数?”,以及“出现失败事件的作业的哪些信息是可用的?”等问题的答案。
  MetaStage Impact Analysis(影响分析) 使用户能够得到诸如“如果我做了这个改动会有什么影响?”和“这个对象依赖于谁”等问题的答案 。例如,用户可以找出从 MetaStage 目录中删除一个特定的转换规则将会产生的影响。
6、协同操作能力:支持多用户同时处理同一个元数据模型,以提高工作效率。允许多个用户同时访问一个资料实例,但是要使用"锁"来控制正处于修改状态的资料库对象,当一个对象被锁,其它用户只有只读的权限;
答:我觉得应该可以,具体没实现过,应为权限管理里面有update如图:

我们可以只开放一个用户的UPDATE权限,估计就可以实现线程同步

7、对多版本管理的支持能力:是否具有版本管理功能;对第三方版本管理软件是否支持(如:clearcase、ORACLE REPOSITORY、 SOURCESAFE);
答:应该不支持,我没发现相应的说明
8、元数据的导入、导出能力:元数据加载能构建一个新的资料库并且转换、更新或恢复一个存在的元数据资料库。也可以得到一个快照用来恢复、比较和备份的目的。能查看导入和导出的结果;
答:“一次定义,多次使用”是管理元数据的基本原则。
从数据库(由 ETL 实现加载处理)的数据模型开始,把元数据导入 MetaStage 之后,用户可以从物理数据模型中发布表定义。然后可以运行订阅功能,把表定义导出到 DataStage 和 QualityStage 中。
用户可以把发布的表定义导入商务智能工具的存储中,如 Business Objects Universe 或 Cognos Impromptu Catalog。如果必要,也可以把 Universe 和 Catalog 元数据导回 MetaStage。
用户能够把任何元数据(数据模型、表定义、Impact Analysis 和 Data Lineage reports)集合以各种各式发布到网上。

9、支持开放式架构:支持元数据联盟MDC(Meta Data Coalition)的开放信息模型OIM(Open Information Model)和OMG组织的公共仓库模型CWM(Common Warehouse Model)标准;
答:应该支持,至少他可以实现共享和转化,至于是否严格按照上面标准来做的没有说明,但感觉已经不是很重要.

10、支持通过扩展标记语言XML数据流等通用格式进行数据交换,使多种厂商的产品能够共享;
答:MetaStage 可以从工具 A 中导入元数据,之后又可以从中导出 ,以对工具 B 有意义的形式导入工具 B 中。工具 A 可以是一个数据建模设计工具,工具 B 可以是一个数据抽取和转换工具 。但有些实现不了如(For example, you cannot export an ERwin 4.0 User-Defined Property to BusinessObjects because the BusinessObjects MetaBroker model has no corresponding class - no overlap.)也就是说有些独立属性有些工具没有比于OLAP所以基本的可以转化.
11、支持应用编程接口(API)接入,允许用户创建定制的应用和程序,满足特殊要求;
答:可以,可以用他的对象来进行简单的操作,不过他的对象是VB我们可以用VBSCRIPT或VB来调用它: 如:an example of connecting all objects in a directory
Sub Main
Dim Session
Dim SameAsAdmin
Set Session = CreateObject("ASExplorer.ScriptSession")
Set SameAsAdmin = Session.GetService("SameAsAdministrator")
SameAsAdmin.ConnectAll()
End Sub
Example Import Scripts
Sub Main
  Dim mySession
  Dim myImport

  Set mySession = CreateObject("ASExplorer.ScriptSession")
  Set myImport = mySession.GetService("Import")

  myImport.ReImport "Neil"
End Sub
这些脚本可以通过COMMOND来运行,命令格式:
ASExplorer.exe {-dirname directory }
[-dirusr username] [-dirschema schema/owner name] [-dirpwd password]
{-script scriptname[(parameters)]} [-file filename]
For example:
ASExplorer.exe -dirname working -dirusr scott -dirschema bengal -dirpwd tiger -script exscrpt.vbs(‘R101’,’dstage’,1,true,null)


12、提供对数据仓库的支持,包括提供对构建数据仓库至关重要的业务数据位置和属性的信息,保存定义移植环境所需的信息、从源点到目标的映射,转换要求,业务规则和建库的选择标准;
答:可以。Metastage可以包含三类元数据:Design meta data, Physical meta data, Operational meta data,我们可以导人PowerDesigner,essbase源模型导人,datastage等ETL元数据导人,以及一些报表元数据如Bussiness object的业务元数据导人,并能在他们之间转化

13、支持从ETL、数据仓库、OLAP分析全过程的元数据管理;
答:支持,关键是看其有没有ETL,和olap工具配套的MetaBroker如果有就可以支持目前象
ESSBASE,PowerDesigner,datastage,bussinessobjects,erwin,cognos,odbc,uml..等都可以支持.
14、元数据管理功能模块应涵盖对数据仓库结构元数据、系统操作元数据、系统运行元数据、数据映射元数据、数据汇聚元数据等元数据的管理,投标方必须明确说明对以上各部分元数据提供的管理功能、工具和操作界面
答:也就是分类管理,类别自己定义就是。Category Browser(分类浏览器):用于组织元数据,启动导入和导出操作。

MetaStage 使用分类组织目录中的对象。分类包括:
用户定义的分类:使用户能够以反映自己对数据集成源的看法的方式组织对象;
导入分类:其中存储从外部工具中导入的对象;
发布分类:其中包含可用于导出到外部工具的对象;
业务域和词汇分类:用于存储与业务术语有关的元数据对象信息;
责任人分类: 用于指明哪一个人或组织负责那个特定的元数据对象。

分享到:
评论

相关推荐

    主流元数据工具选型分析SuperGlue metastage metaone

    对IBM的metastage,CA的Advantage Repository, Informatic 的SuperGlue等几大主流元数据管理工具做了评估。

    IBM MetaStage User Guide

    IBM MetaStage User Guide

    MetaStage白皮书

    MetaStage白皮书MetaStage白皮书MetaStage白皮书MetaStage白皮书MetaStage白皮书

    node-v12.14.0-darwin-x64.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    基于使用microPython的开发单片机设计源码.zip

    我们在单片机开发中常会遇到需要将UTF-8转换为GBK编码的需求。在了解各种编码格式的情况下可知, UFT-8不能直接转成GBK,需中转成unicode再转换为gbk。而unicode和gbk之间没有算法可以直接计算,需要查表方式获取。 网上有一些C语言实现的代码,我这里分享一种microPython的实现代码 接下来就是要考虑表的存储方式了,刚开始我想着把表存到代码里直接通过索引实现编码转换。但是gb2312有七千多个字符全部存储要耗费很大内存,即使是32位的esp32也只有512k的内存,加上其他资源的消耗,剩余的内存不足以存储编码转换表。 于是只能将表保存成一个文件(转化成bin文件会比较好,方法类似),通过读写文件来减少内存开销。 具体的查表就是简单的二分法

    基于VB实现的车队综合业务管理系统(论文+源代码)

    基于VB实现的车队综合业务管理系统(论文+源代码) 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。

    基于知识图谱的推荐算法-NCFG的实现python源码+运行说明.zip

    基于知识图谱的推荐算法-NCFG的实现 运行环境 python == 3.7.0 torch == 1.12.0 pandas == 1.1.5 numpy == 1.21.6 sklearn == 0.0 数据集介绍 music-音乐 book-书籍 ml-电影 yelp-商户 文件介绍 ratings.txt:记录用户点击的项目,1代表点击了,0代表没有点击 kg.txt:知识图谱文件,第一列是头实体,第二列是尾实体,第三列是关系 user-list.txt:用户及其id文件,第一列是用户的id,第二列是用户 其余文件可忽略

    JAVA002打飞机游戏设计(程序+设计说明书).zip

    JAVA002打飞机游戏设计(程序+设计说明书).zip

    Engineering-Electromagnetic-Theory-Lab-3.pdf

    Engineering_Electromagnetic_Theory_Lab_3.pdf

    自己弄的基于matlab实现的多端直流配电网的仿真模型,是支撑自己小论文的东东 仿真环境是用的matlab

    自己弄的基于matlab实现的多端直流配电网的仿真模型,是支撑自己小论文的东东。仿真环境是用的matlab。

    BBR、A2O、MBR工艺比选.doc

    课程设计,污水处理设计方案

    DHT11温湿度传感器是一款高性能、低成本的数字温湿度复合传感器 它集成了温度感应和湿度感应功能,可以准确地测量环境中的温度和湿

    DHT11温湿度传感器是一款高性能、低成本的数字温湿度复合传感器。它集成了温度感应和湿度感应功能,可以准确地测量环境中的温度和湿度,并通过数字信号输出数据。以下是关于DHT11温湿度传感器的详细介绍: DHT11传感器内部包含一个NTC热敏电阻用于温度测量和一个薄膜电容湿度传感材料用于湿度测量。NTC热敏电阻的电阻值会随着温度的变化而变化,DHT11通过测量电阻值的变化来计算环境的温度。而薄膜电容湿度传感材料的电容值则会随着湿度的变化而变化,DHT11通过测量电容值的变化来计算环境的湿度。 DHT11传感器具有高精度、高可靠性和稳定性好的特点。其湿度测量范围为20%RH至90%RH,精度可达±5%RH;温度测量范围为-20℃至+60℃,精度可达±2℃。传感器的工作电压范围为3.3V至5.5V,工作电流较小,功耗低。此外,DHT11传感器还具有超长的信号传输距离和超强的抗干扰能力,可以在复杂的环境中稳定工作。 DHT11传感器采用单总线数字信号传输方式,通过单个引脚进行数据输入和输出。它使用特定的时序信号来传输温度和湿度数据,主机可以通过解析这些时序信号来获取温度和湿度的数值。这种

    某钢厂转炉浊环供水泵站给排水竣工图.zip

    污水处理

    delphi家庭财务管理系统.zip

    delphi家庭财务管理系统.zip

    node-v10.23.2-linux-arm64.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    ASP+ACCESS网上人才信息管理系统(源代码+设计说明书).zip

    ASP+ACCESS网上人才信息管理系统(源代码+设计说明书).zip

    ASP基于BS结构的工厂设备管理系统的设计与开发(源代码+设计说明书).zip

    ASP基于BS结构的工厂设备管理系统的设计与开发(源代码+设计说明书).zip

    node-v10.23.3-linux-arm64.tar.xz

    Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。

    埃森哲_组织设计的指导思想gl.ppt

    埃森哲_组织设计的指导思想gl.ppt

    卷积神经网络(Convolutional Neural Networks,CNN)是深度学习领域中一种非常重要的神经网络结构,特

    卷积神经网络(Convolutional Neural Networks,CNN)是深度学习领域中一种非常重要的神经网络结构,特别适用于处理图像和视频数据。以下是关于卷积神经网络的500字资源介绍: 卷积神经网络是一类包含卷积计算的前馈神经网络,它的核心在于“卷积与池化”操作。在卷积层中,神经元仅与部分邻层神经元连接,这种局部连接和权值共享的特性使得卷积神经网络能够以较小的计算量学习格点化特征,如像素和音频,且稳定有效。 卷积神经网络的主要构成包括卷积层、池化层和全连接层。卷积层通过卷积核对输入图像进行特征提取,生成特征图;池化层则对特征图进行下采样,降低数据维度,同时保留重要信息;全连接层则负责将提取的特征进行整合,用于分类或回归任务。 卷积神经网络在计算机视觉领域具有广泛的应用,如图像分类、目标检测、人脸识别等。通过训练大量的图像数据,卷积神经网络能够自动学习图像的特征表示,比传统的手工设计特征方法更加有效。此外,卷积神经网络也被应用于自然语言处理、语音识别等领域,并取得了显著的成果。 总之,卷积神经网络是一种强大的深度学习模型,它通过模拟人类的视觉系统来处理图像和视频数据

Global site tag (gtag.js) - Google Analytics