三九宝宝网宝宝百科宝宝知识

SQL2005的SSIS与Oracle的迁移性能

11月26日 编辑 39baobao.com

[高血压的女性能怀宝宝吗]患高血压想要宝宝降压药不能随意停想怀孕或有喜了,是一件让人高兴的事儿。但是,很多人总是有这样或那样的担忧,怕自己的身体不过关,怕年龄太大有危险 其实,怀孕是很稀松平常的事...+阅读

项目中存在一部分数据迁移的工作,说白了就是从老的系统中将数据倒换的新的系统模型中,老系统的数据来源比较复杂多样,新的自然是Oracle9.2。

本来这也就是一次性工作,用SQL自然是最快的方式,不论是开发还是数据传输的速度。可是甲方偏偏要看到界面,希望这是一个成型的工具,没办法,甲方就是上帝。

原来也有一个迁移工具,可是只能适用于表对表的倒换,复杂一些无能为力,而且数据还巨慢,用过的人都是对它无语。

从新开发,不说花费和效果,光是时间也不行。没办法,只好看看现在流行的ETL的工具。

市场前列毋庸置疑,肯定是Informatia 和 DataStage.

Informatia没有,只好看看DataStage是否能适应现在的功能要求。不想,虽然是图形界面,可使用起来一点也不容易,而且安装后,Windows下居然不能脱离域环境,而且不是Server版本的Windows还不能运行Paralle Job。郁闷无比。

试了两天后,暂时放下。Microsoft的易用性比功能强大更吸引我。试试SQL Server 2005中的SSIS,号称企业级的ETL。

一用之后呢,没想还真有点喜欢上了它,从介绍的和界面上看一点也不比DataStage的功能少,性能,哈,下面就是我要说得了。

ETL工具最慢的部分都是L这一部分,按照一般的说法能占到总体时间的五分之四,所以这是关键。

测试也不算复杂,就是同样的数据抽取、转化、然后加载用不同的驱动分别跑一遍,目的库已经确定是Oracle,所以也没有太大的余地了。

在SSIS中,有两个驱动可以连接Oracle数据库,一个是Microsoft OLEDB Provider for Oracle,另外一个是Oracle Provider for OLEDB

不测不知道,还真长了不少见识。

同一机器,同一数据源,同一结果,两者间还真有不少区别。

首先是速度(连续三次): Microsoft OLEDB Provider for Oracle 1分37 1分32 1分30

Oracle Provider for OLEDB 1分10 1分07 1分02

在速度上 Oracle Provider for OLEDB 基本符合 1分3万条左右,而Microsoft OLEDB Provider for Oracle 考试.大提示1分钟只有2万条左右。

照这样看,答案似乎也就出来了,Oracle Provider for OLEDB也就成了不二选择。

且慢,我还没有说明为什么选择25万条记录而不是别的数量的数据呢。

这就不得不说说内存的使用:未启动数据迁移时即停留在VS.设计界面时,内存已使用了790M左右,而我机器的物理内存也就896M。

运行开始后,25万条记录下Microsoft OLEDB Provider for Oracle 平均在1G左右,而Oracle Provider for OLEDB乖乖得不得了,铁定在1.25G以上,一次还在1.3G。更离谱的是,原数据表*有近100万条记录,Microsoft OLEDB Provider for Oracle在内存峰值1.5G左右可以顺利完成,而Oracle Provider for OLEDB在内存使用一旦突破1.3G往上一些,就开始不停提示内存不足,不在安心的迁移数据了,或者干脆显示为红色,报一些莫名的错误。

这就让人两难了,一个速度快了那么50%,可确是一个内存消耗大户,有没有止境,我这破机器也无从得知。

另外一个速度慢,可却节俭持家,穷人也照顾到了,哈。感觉好这有点像Oracle和MS的企业风格,一个走高端,为了需要的指标可以不计成本,穷人靠边;另一个呢,还不错,虽然也越来越来不鸟没钱的人,可还做得不太显眼。

最后了,同样的数据源(Microsoft OLEDB Provider for Oracle驱动),将目的库换成SQL Server 2005,驱动为SQL Native Client,同样的数据数据转换,98.9万条记录中11.1万条入库,靠1分12完事,打开FastLoad,58秒搞定。而且都只是第一次运行,相信如果多运行几次后,结果应该更好。别说,自家孩子真就不一样,别人的家的没法比。

由于数据库驱动接触并不多,希望那个大虾指点一下,能帮忙给找一个Windows下Oracle驱动可以媲美与SQL Native Client的,先谢了。

以下为关联文档:

常用的性能测试方法1.明确测试目标,测试目标尽可能能够有量化的标准 1)上线前验证性的性能测试,针对银行系统一般的性能指标为TPS、响应时间是否满足业务需求; 2)容量测试,测试系统在特定系统环境下...

不同建筑结构形式的抗震性能比较塔楼比板楼抗震性能好 因为地震波往往不规则,无规律,如果恰好赶上板楼的短轴方向,则板楼很像一堵墙,相比之下塔楼长宽较小,较为方正,因此同比抗震性能更好一些。 框架结构比砖混结...

自洁型高性能建筑结构膜的推广应用我国建筑结构膜材的应用现状 (1)结构膜技术及结构膜新颖建筑建筑结构膜应用技术汇总建筑钢结构技术、塑料人造革合成革的涂层加工技术和纺织工业用布织造技术并融为一体,形成结...

铝合金幕墙板与复合板性能比较玻璃幕墙曾为建筑业的一种时尚,但由于它的易碎、自绽裂及能够造成光污染的缺点,使得大面积应用受到了阻碍,而铝板幕墙却以极强的冲击力演绎着“现代中华”的建筑脸谱。 铝板幕...

钢材机械性能的名词1.屈服点 设Ps为屈服点s处的外力,Fo为试样断面积,则屈服点σs =Ps/Fo(MPa),MPa称为兆帕等于N(牛顿)/mm2,(MPa=106Pa,Pa:帕斯卡=N/m2) 2.屈服强度(σ0.2) 有的金属材料的屈服点极不明显,在...

双层通风幕墙物理性能检测方法的探讨一、 概述:双层通风幕墙90年代在欧洲出现,它由内、外两道幕墙组成,内外幕墙之间形成一个相对封闭的空间,空气可以从下部进风口进入,又从上部排风口离开这一空间,这一空间经常处于...

论高性能混凝土质量的如何控制摘要:高性能混凝土施工质量控制涉及原料、设计、施工工艺、气候环境等诸多因素,是一个全面而复杂的问题。本文根据从事工程施工多年的经验积累,提出在施工过程中应重视的若干问...

对钢材性能产生影响的元素钢材的质量及性能是根据需要而确定的,不同的需要,要有不同的元素含量。 (1)碳;含碳量越高,刚的硬度就越高,但是它的可塑性和韧性就越差。 (2)硫;是钢中的有害杂物,含硫较高的钢在高温进...

耐磨钢板的性能简介1.很高的耐磨性能:strongplate耐磨钢板耐磨层厚度3-12㎜,耐磨层硬度可以达到HRC58-62,耐磨性能是普通钢板的15-20倍以上,是低合金钢板性能5-10倍以上,是高铬铸铁耐磨性能2-5倍以...

推荐阅读
图文推荐