[强芯迎挑战飞鹤牵手阿里云构建自主大数据能力平台]近日,飞鹤乳业与阿里云签署合作协议,双方未来将在数据中台项目建设等方面展开深入合作,共同推进飞鹤自主数据能力平台建设。此次合作,标志着飞鹤的数字化转型进入新的发展阶段,将...+阅读
Sybase操作型BI数据管理与数据集成:
数据管理服务组件
Sybase可提供操作型BI数据管理与数据集成。它不仅开发了管理BI信息的产品,还开发了数据库设计产品。Sybase IQ与Sybase PowerDesigner则是其中两个关键的产品。
Sybase IQ
Sybase操作型BI解决方案的基于是Sybase IQ关系型数据库系统。该产品于1995年从Expressway收购而得,从那时起,它就稳步赢得客户的青睐。对高性能的BI信息管理能力的需求使得该产品更加引人关注。今天,全球使用Sybase IQ的客户超过750家。
Sybase IQ与传统的关系型数据库最关键的不同之处就是,它是专门为高性能的分析型进程设计的。该性能通过存储数据的方式——列存储,而不是传统关系型数据库中的行存储而获得。
Sybase IQ列存储模型提高了性能,因为查询中检索的只是列,从而减少了系统I/O。通过为每一个列的访问分配线程,允许进行并行的查询,而进一步提高了性能。这对涉及到多个列的复杂查询尤其有利。列存储模型的另一个好处就是它允许极高效率的数据压缩。例如,西班牙Telefonica管理着70TB的原数据,它们存储到Sybase IQ中,只有15TB。同时,他们发现,查询的运行速度比传统的解决方案能快到200倍。
从BI应用外部来看,Sybase IQ数据库跟其他的关系型数据库并没什么两样。该产品支持标准的SQL,提供各种功能如存储过程、函数等。应用接口支持ODBC、JDBC、OLEDB、Web 服务器。运行环境包括Linux、Windows、Unix等。Sybase IQ数据库的非结构化数据选项支持存储大型二进制对象,比如文本与多媒体数据等。
另外,Sybase还提供了一个可选的Sybase IQ Multiplexing功能,允许一个单一的Sybase IQ数据库被多个计算机节点共享。这进一步提高了大型数据库与工作负载的性能与可扩展性,服务器、处理器、硬盘可以按照需要加入到该配置中。该解决方案支持传统供应商如HP、IBM、Sun等公司提供的硬件与操作系统软件。
Sybase PowerDesigner
Sybase PowerDesigner是一个行业的企业模型工具,他将商业分析与数据库设计加入到传统的软件生命周期。它联合使用了大量的建模机制。包括业务进程建模、数据建模、基于对象的UML建模、以及XML建模。它支持主要的行业开发环境如JAVA、Eclipse、Microsoft.,而且支持超过60个关系型数据库产品包括Sybase IQ、IBM DB
2、Oracle、Microsoft SQL Server等。
PowerDesigner提供了一个元数据管理功能,支持需求管理、影响分析、文档、数据映射、SOA驱动的项目的综合管理、基于角色的安全等等。它通过团队协作,以及将商业需求同商业与数据模型进行联结和同步的功能强化了商业与IT的结合。
数据集成服务组件
Sybase支持数据集成机制中的数据联合和数据传播方式。即Sybase Avaki EII支持数据联合,Sybase Replication Server支持数据传播。而数据合并与ETL则由Sybase第三方合作伙伴如Business Objects、IBM Ascential与Informatica提供支持。
Sybase Avaki EII
Sybase Avaki EII是Sybase公司于2005年5月通过收购Avaki公司而获得。就象其他EII产品,Sybase Avaki EII提供了一个分散数据的虚拟商业视图。对于BI应用,使用一个虚拟视图,分散的数据看起来是存储在一个单一的SQL关系型表中。当应用基于该视图提交一个SQL语句时,EII服务器访问与操作适当的数据源,组合成一个查询结果集,将结果集返回到应用。EII Server将SQL 进程智能地分配到源系统中,以减少需要从给定的源系统中检索的数据量。
Avaki EII支持的数据源包括纯文本文件(包括XML、NFS等)、关系型数据库、商业应用(例如JCA、Web服务器、或由iWay Software等公司提供的第三方连接器)。
该产品包含了有别于其他竞争对手的特征:
· 服务视图,随时可用,它包含支持更深入的数据转换与分析的嵌入式程序逻辑。除了Sybase 提供的服务视图之外,开发人员可以使用JaScript编写他们自己的视图。服务视图与SQL视图使用基于Eclips的Avaki Studio开发工具进行定义与管理。
· Avaki EII集成框架允许服务视图与外部应用如数据质量与ETL工具、定制的代码等等进行交互。
· 一个集成的缓冲工具允许结果提前预存(基于管理员定义的参数),以提升查询性能
· Sybase Avaki EII提供了一个有价值的EII功能,可以直接被BI报表与分析型应用使用,或者与Sybase IQ数据库配合使用时由Sybase IQ应用使用。
Sybase Replication Server
Sybase Replication Server支持数据变化从源系统到目标系统的数据传播。在Sybase 操作型BI环境中,目标系统将会是Sybase IQ信息管理环境。其他目标系统包括那些Sybase RepConnect与EnterpriseConnect支持的系统。RepConnect 允许数据变化传播到消息产品(IBM Websphere、JMS、TIBCO),而EnterConnect支持第三方数据库系统如IBM DB
2、Microsoft SQL Server、Oracle与ODBC。
Replication Server支持的数据源包括IBM DB
2、IBM IMS与VSAM、Microsoft SQL Server、Oracle、Sybase ASE以及SQL Anywhere。复制代理(Replication Agent)从这些源数据库日志文件中捕获数据变化,这种数据复制的异步方式降低了复制代理对操作型BTx应用的性能影响。这些数据变化可以被传播到Sybase IQ低延迟数据存储中以备由操作型BI应用进行操作。
Sybase操作型BI解决方案提供了一个适时数据集成环境,它将数据变化压缩、传送到由Sybase IQ管理的低延迟的存储中。第三方操作型报表和绩效管理应用可以使用Sybase IQ提供的高性能的查询能力以生成操作型图形显示并据此执行自动化决策。当需要当前信息时,BI应用可以使用Sybase Avaki EII服务访问分散的操作型数据。
操作型BI案例研究
西班牙Telefonica和澳大利亚电信供应商Telstra是两个已经成功使用Sybase IQ的客户,他们清楚地显示了操作型BI如何使企业更加灵活与更加智能。
西班牙Telefonica 8200万客户端的信息,来自于11个各自独立的分散的操作型系统,Telefonica开发了统一信息系统作为其操作型数据存储(ODS)概念的一部分。该系统的目标是为Telefonic众多操作型系统的数据管理建立一个单一的、集成的、通用的数据存储。企业内的所有用户都通过访问这个单一的数据库存储来处理操作型信息,而不论这些信息最初来源于哪个操作型系统。
为部署ODS项目,Telefonica使用Sybase IQ与Sybase Replication Server。Replication Server用于从运行在MVS之上的IBM DB2和运行在UNIX平台的Oracle中捕获在线更新并传送到Sybase IQ ODS中。每隔5分钟,从操作型系统将更新传送到ODS中。
为确保项目的顺利进行,还引入了一个先导测试。该测试基于Sybase与Sun共同提供的数据仓库参考设计,花费四周的时间完成。“该模型存储了比其他市场上的数据库多出4到6倍的存储容量,同时减少了在硬件、支持、管理与维护上的成本,”Telefonica系统工程经理Pedro Romera说。“至于响应速度,该平台显示出超出其他系统200多倍的性能优势。”
另外,该项目的革新之处在于所有的Telefonica操作型系统将向ODS提供数据。这意味着Sybase IQ将管理大约15TB的压缩数据(相当于70TB的真实信息)。为维护大量数据下的高效性,Sybase IQ Multiplex功能被加以使用。
Telstra为澳大利亚提供广泛的电信与信息服务,包括固定电话线路、两个移动电话网络以及Inter服务。Telstra是2000年悉尼奥运会电信供应商。
Telstra需要一种技术,可以提供接近实时的有关通话事务的信息,以便调整其移动蜂窝管理系统从而满足需求。“我们需要在奥运会期间运行一个无失误的、无堵塞的移动电话网络,”Telstra区域网络经理,Anthony Goonan说。
Telstra所要面对的挑战,主要是移动服务,它需要提供无堵塞的网络访问。“对我们而言,存在大量的未知情况——究竟有多少人会来到悉尼?他们对移动电话的使用量以及由国际无线通讯以及印刷媒体所产生的话务量是多少呢?”Goonan说。“我们需要实时观察网络的性能以满足所有这些需求。”
在网络设计时,Telstra部署了一种可以将容量从网络的某部分转移到另外部分的功能,这取决于客户在哪里发出呼叫。“当我们为此搜寻解决方案时,我们发现了pudigm的SeePower,它由Sybase IQ提供技术基础,正是我们所需要的解决方案。”Goonan说。
在奥林匹克公园,Telstra部署了超过200个移动电话蜂窝系统,大约每5平方英里一个。“我们需要我们的工程师同时观察所有这些蜂窝系统的性能,”Goonan说。“该应用具有这种功能,它能将整个奥林匹克的网络运行情况显示到一个屏幕上,并接近实时地辨识热点区域。这使我们可以调整网络以满足我们客户的需求。”
Sybase IQ从遍及悉尼奥林匹克公园的200多个蜂窝系统上收集大量的数据。“这是我们第一次在蜂窝移动网络运行过程中拥有这种综合的强大功能,”Goonan说。“Sybase IQ实时地将数据发送到seePower应用,它为我们的工程师提供了管理网络的信息,从而为我们的客户提供他们所需的服务。”
尽管每日的通话时间高达72万分钟,Telstra无故障的处理了所有请求。在奥运会开幕式期间,大约50万个通话被发起或接收,其中12.5万个来自奥林匹克体育馆。“没有任何客户抱怨我们的服务。”Goonan说。
以下为关联文档:
艾的教育首倡个性化早幼教大数据幼教开创新时代2016年5月11日,北京艾的教育科技股份有限公司(以下简称艾的教育)在国家会议中心隆重召开了主题为“2016互联网+儿童个性化成长教育发展论坛”的首届中国个性化教育高端峰会。国...
孩子玩手机Ipad对视力的影响有多大一组数据告诉你后果自从有了智能手机之后,大到中青年,小到一两岁的同婴幼儿,都成了手机 奴 ,也是我们常说的 低头族 。 前两天,一网友在朋友圈发消息称,自己五岁的孩子,如今对手已到了痴迷状态,哪怕是...
360发布“儿童成长状况大数据”解读孩子成长点滴小手表背后蕴藏着大数据。1月10日,360儿童手表在京发布了国内首份“儿童成长状况大数据”,就孩子们的成长、安全、生活等备受社会和家长们关注的话题进行了全方位分析解读,帮助...
360儿童手表发布国内首份“儿童成长状况大数据”1月10 日,360儿童手表在京举办了“勇往直前、为爱守护--儿童成长状况大数据暨公益发布会”活动。在活动中,360儿童手表基于超过400万用户的数据分析,就儿童成长、安全、生活等...
数据的收集和整理例2bgcolor="#FFFFFF"> 教学目标 (一)初步理解统计的意义和作用,学会把一些原始数据进行分类和整理,填写完成简单的统计表。 (二)培养学生认真严谨的学习态度。 (三)培养学生观察...
数据的收集和整理例3bgcolor="#FFFFFF"> 教学目标 (一)初步理解并掌握复式统计表的特征及制作方法,并能根据统计表进行简单的分析。 (二)培养学生仔细认真的做题习惯,并结合问题对学生进行思想品...
简单的数据整理教学内容:教科书例1及第24页“做一做”,练习六。 一、素质教育目标 (一)、知识教学点 1、使学生初步认识数据整理的方法,初步会看简单的统计表和条形统 2、使学生会进行简单的...
在数据中探究江苏宝应县城南小学 沈志彬 邮编:225800 [教例]四年级《峨嵋道上》 师:(出示填空题)请同学们从文中找一找相应数据,并填上去,再读一读。 (1)他们在 (十多)里外开山取石。 (一里等于0.5...
数据的收集和整理例1bgcolor="#FFFFFF"> 教学目标 (一)学会用画“正”字的方法收集数据,并能按需要对数据进行简单的整理。 (二)加深对条形统计图的认识,提高学生看条形统计图的能力。 教学重点和...