三九宝宝网宝宝教育学龄段教育

怎样理解spark中的partition和block的关系

01月02日 编辑 39baobao.com

[失效准则与刚度有什么关系]我是这样理解的,不对请指正(非网上拷贝)。 刚度的变化特性使结构二次失效准则不是很敏感。这句话的意思是:在结构设计时,在规定设计原则中(《设计规范》),考虑了结构自重很各种外力...+阅读

hdfs中的block是分布式存储的最小单元,类似于盛放文件的盒子,一个文件可能要占多个盒子,但一个盒子里的内容只可能来自同一份文件。假设block设置为128M,你的文件是250M,那么这份文件占3个block(128+128+2)。这样的设计虽然会有一部分磁盘空间的浪费,但是整齐的block大小,便于快速找到、读取对应的内容。(p.s. 考虑到hdfs冗余设计,默认三份拷贝,实际上3*3=9个block的物理空间。)

spark中的partion是弹性分布式数据集RDD的最小单元,RDD是由分布在各个节点上的partion组成的。partion是指的spark在计算过程中,生成的数据在计算空间内最小单元,同一份数据(RDD)的partion大小不一,数量不定,是根据application里的算子和最初读入的数据分块数量决定的,这也是为什么叫“弹性分布式”数据集的原因之一。

总结:

block位于存储空间、partion位于计算空间,

block的大小是固定的、partion大小是不固定的,

block是有冗余的、不会轻易丢失,partion(RDD)没有冗余设计、丢失之后重新计算得到

再补充几点:

partition也可以有冗余,通过storagelevel来配置;

local或者yarn模式和partition,block概念上没有半毛钱关系,local模式也能操作hdfs,yarn模式也能操作本地文件;

存储上为什么要将空间抽象成块前面的兄台已经叙述了,而且之所以设计成这么大的理由还牵扯到大存储空间中的各种管理、容错等等。那么与之对应的,在并行计算里我们希望降低网络带宽的负荷,所以会对计算做一层计算本地性优化,那么怎样做到这点呢?最简单的逻辑,把计算代码发到数据所在的节点上执行就可以了。那么这样一来,怎样做到并行优化?很简单啦,把一个超大的文件切切切分成一个一个不大不小的块(比如hdfs默认的64M,或者配得再大一点),然后把这些块打散在集群的不同节点上,最后把应用代码跟着数据块走,就能在不同节点上并行计算了。与之相对应的,spark为了利用起内存,对一些中间数据尽可能的用内存访问速度进行读写,所以把这部分管理工作纳入到自己这里(对比一下,经典的hadoop mapreduce就直接交给hdfs进行管理),可是就算存到内存里,那也得沿着这个思路来啊,不然计算本地化,并行之类的就很混乱了,那好吧,我也引入个概念,就叫partition好了,目的和前面一样。然后突然发现,哎呀我靠,这不得了,不仅能做到这些,既然我把一个超大份的数据都分成一块一块的了,那每一块是不是就能独立分隔开来了?那一个超大份文件,内存完全放不下,完全可以把其中一些块放到内存里,另外一些暂时放到硬盘里嘛,好歹也比纯放到hdfs来得快嘛……于是生活就变得美好了起来。但是要注意的是,计算本地性优化并不是说绝对地把任务只发到数据所在地进行执行,还要考虑到均衡和并发能力的取舍。

以下为关联文档:

结合实际谈谈你是如何理解员工的职业生涯发展的² 职业生涯是指一个人一生的工作经历,特别是职业、职位的变迁及工作理想的实现过程。职业发展是人力资源管理的一项活动,它与工作分析、人力资源规划、招聘与选拔、绩效评估...

怎么提高人际关系在单位里,影响人际关系主要有下面几个方面 1、有好事儿不通报 单位里发物品、领奖金等,你先知道了,或者已经领了,一声不响地坐在那里,像没事似的,从不向大家通报一下,有些东西可以...

关于形神关系论桓谭的观点如何桓谭(约前20—后56),东汉哲学家、经学家,字君山,沛国相(今安徽濉溪西北)人。官至议郎给事中。著有《新论》二十九篇,早佚。他提出了著名的“烛火之喻”,用以批判神仙之说的长生不死观...

新西兰生活与住宿家庭关系处理方法有哪些很多在新西兰生活的学生们,选择住宿的时候,寄宿在当地人家中,一为提高英语水平;二为熟悉西方生活习俗,更好融入当地社会;三也比较安全,有人监管家长也会比较放心。 但是,由于文化背...

企业会计准则和企业财务通则的关系企业财务通则和企业会计准则的区别 1、实施范围不同 企业财务通则在金融企业除外的具备法人资格的国有及国有控股企业执行(其他企业参照执行)。 企业会计准则目前仅在上市公司...

企业会计准则和企业财务通则的关系1企业会计准则和企业财务通则企业财务通则和企业会计准则的区别 1、实施范围不同 企业财务通则在金融企业除外的具备法人资格的国有及国有控股企业执行(其他企业参照执行)。 企业会计准则目前仅在上市公司...

写一篇深刻理解工匠精神时代内涵表达学生在践行工匠精神过“制造精神”“工匠精神”这些鲜活的字眼,频繁出现在我们的报纸和微信上。这究竟是一种什么样的精神?这种精神又有何种强大的力量?带着这一串串的疑问我如饥似渴的翻开了《工匠...

关于深刻理解工匠精神的时代内涵表达学生在践行工匠精神过程中的行“制造精神”“工匠精神”这些鲜活的字眼,频繁出现在我们的报纸和微信上。这究竟是一种什么样的精神?这种精神又有何种强大的力量?带着这一串串的疑问我如饥似渴的翻开了《工匠...

什么是业务流程再造与erp的关系是什么1,业务流程重组最早由美国的Michael Hammer 和Jame Champy提出,在20世纪90年代达到了全盛的一种管理思想。强调以业务流程为改造对象和中心、以关心客户的需求和满意度为目标...

推荐阅读
图文推荐