[教育孩子不如教育家长]作者：河南省安阳市，第二实验幼儿园 李娜有句话说的好： 孩子的问题都是家长的问题。 每个孩子出现问题，首先考虑的就是家长是怎样的，赏识教育家周弘曾说，教育孩子就象是农民种庄稼，...+阅读
Spark是一个基于RAM计算的开源码ComputerCluster运算系统，目的是更快速地进行数据分析。Spark早期的核心部分代码只有3万行。Spark提供了与HadoopMap/Reduce相似的分散式运算框架，但基于RAM和优化设计，因此在交换式数据分析和datamining的Workload中表现不错。
进入2014年以后，Spark开源码生态系统大幅增长，已成为大数据范畴最活跃的开源码项目之一。Spark之所以有如此多的关注，原因主要是因为Spark具有的高性能、高灵活性、与Hadoop生态系统完美融合等三方面的特点。
首先，Spark对分散的数据集进行抽样，创新地提出RDD(ResilientDistributedDataset)的概念，所有的统计分析任务被翻译成对RDD的基本操作组成的有向无环图（DAG）。RDD可以被驻留在RAM中，往后的任务可以直接读取RAM中的数据；同时分析DAG中任务之间的依赖性可以把相邻的任务合并，从而减少了大量不准确的结果输出，极大减少了HarddiskI/O，使复杂数据分析任务更高效。从这个推算，如果任务够复杂，Spark比Map/Reduce快一到两倍。
其次，Spark是一个灵活的运算框架，适合做批次处理、工作流、交互式分析、流量处理等不同类型的应用，因此Spark也可以成为一个用途广泛的运算引擎，并在未来取代Map/Reduce的地位。
最后，Spark可以与Hadoop生态系统的很多组件互相操作。Spark可以运行在新一代资源管理框架YARN上，它还可以读取已有并存放在Hadoop上的数据，这是个非常大的优势。
虽然Spark具有以上三大优点，但从目前Spark的发展和应用现状来看，Spark本身也存在很多缺陷，主要包括以下几个方面：
–稳定性方面，由于代码质量问题，Spark长时间运行会经常出错，在架构方面，由于大量数据被缓存在RAM中，Java回收垃圾缓慢的情况严重，导致Spark性能不稳定，在复杂场景中SQL的性能甚至不如现有的Map/Reduce。
–不能处理大数据，单独机器处理数据过大，或者由于数据出现问题导致中间结果超过RAM的大小时，常常出现RAM空间不足或无法得出结果。然而，Map/Reduce运算框架可以处理大数据，在这方面，Spark不如Map/Reduce运算框架有效。
–不能支持复杂的SQL统计；目前Spark支持的SQL语法完整程度还不能应用在复杂数据分析中。在可管理性方面，SparkYARN的结合不完善，这就为使用过程中埋下隐忧，容易出现各种难题。
虽然Spark活跃在Cloudera、MapR、Hortonworks等众多知名大数据公司，但是如果Spark本身的缺陷得不到及时处理，将会严重影响Spark的普及和发展。
有什么关于 Spark的书推荐
《Spark大数据处理技术》以Spark 0.9版本为基础进行编写，是一本全面介绍Spark及Spark生态圈相关技术的书籍，是国内首本深入介绍Spark原理和架构的技术书籍。主要内容有Spark基础功能介绍及内部重要模块分析，包括部署模式、调度框架、存储管理以及应用监控；同时也详细介绍了Spark生态圈中其他的和模块，包括SQL处理引擎Shark和Spark SQL、流式处理引擎Spark Streaming、图计算框架Graphx以及分布式内存文件系统Tachyon。《Spark大数据处理技术》从概念和原理上对Spark核心框架和生态圈做了详细的解读，并对Spark的应用现状和未来发展做了一定的介绍，旨在为大数据从业人员和Spark爱好者提供一个更深入学习的。
《Spark大数据处理技术》适合任何大数据、Spark领域的从业人员阅读，同时也为架构师、开发工程师和大数据爱好者展现了一个现代大数据框架的架构原理和实现细节。相信通过学《Spark大数据处理技术》，读者能够熟悉和掌握Spark这一当前流行的大数据框架，并将其投入到生产实践中去。
《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。
通过上面两本熟悉Spark的原理架构以及应用，想深入学习的话，还有《Apache Spark源码剖析》，它全面、系统地介绍了Spark源码，深入浅出。
怎么用Eclipse搭建Spark源码阅读环境
应该说这个和是不是Spark项目没什么关系。建议你使用intellij idea，在spark目录下执行＂sbt/sbt gen-idea＂，会自动生成.idea项目，导入即可。idea我不熟，还需要做一些其他的插件配置（python, sbt等）和环境设置。你也可以使用Eclipse看，Eclipse有scala IDE，把Spark项目当maven工程导入。但是子项目之间的依赖会有点问题，会报错。推荐使用前者，向Databricks的开发者看齐；我使用的是后者，我直接依赖了编译好的包就不会报错了，纯读源码的话也勉强可以跟踪和调试。另外，我也看有的Committer用vim看spark代码的，所以怎么看源码都无所谓，你熟悉就好，而且这和是不是Spark项目也没什么关系。：）...
以下为关联文档：
期待未来，不如把握现在我们在跟团外出旅游时，经常会遇到这样一种情况：景区里，导游常挥舞着旗子，拿着小喇叭对大家喊：“请游客们抓紧时间游览，半个小时后我们在车上集合，赶到下一个景区。” 于是，游客们纷...
抱怨别人不如看清自己《堂吉诃德》中有个叫桑丘的侍从在遭遇不幸时，抱怨道：“命运女神像个喝醉了酒的婆娘，喜怒无常，而且双目失明，一味瞎干瞎闯！”这句话也许会博得很多不幸者的赞同，引起一片共鸣之声，但...
报复他人不如宽容他人生活在这个社会上，难免会与别人产生摩擦，这就多多少少有了仇人和仇恨，每个人都知道这个不好，要学会宽容，可是宽容哪有说起来那么容易，所以我们要学会控制自己的情绪，不要让报复心理...
强攻不如智取强攻不如智取 江苏省江阴市青阳实验小学：蒋仪 有些小学数学习题，有时按照常规思路求解会有一定的难度，这时可考虑调换一种思路进行分析与解答。 例 1、某电子元件厂五月份计划...
如何从菜鸟成长成spark大数据高手第一阶段：熟练掌握Scala语言 1,spark框架是采用scala语言写的，精致优雅。想要成为spark高手，你就必须阅读spark源码，就必须掌握scala。 2，虽然现在的spark可以使用多种语言开发，ja...
怎样理解spark中的partition和block的关系hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。假设block设置为128M，你的文件是250M，那么这份...
为什么90后的学生不如70后 80后90后品质虽然不懂90后不如90后是怎么回事 但是70到90甚至00年是国家高速发展高速建设的时期，急需大量各行各业的人才。而且那些年代升学可不是读够一年就可以的，要考试，考不过就升不了...
封建社会都是在逆淘汰中维持发展的所以发展了几千年不如资本主封建体系也抄未必发展不好，至唐朝之后的宋元明都是世界上最强大的帝国，清朝前六位皇帝也是最强大的帝国。 清朝第七位咸丰皇帝之后，才开始衰败的，虽然丢失了一些领土，但终归是世...
做大数据分析系统Hadoop需要用哪些软件1、ApacheMesos 代码托管地址：ApacheSVN Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。 Mesos是Apache孵化器中的一个开...
