三九宝宝网宝宝教育学龄段教育

做大数据分析系统Hadoop需要用哪些软件

02月23日 编辑 39baobao.com

[服装数据分析一般用什么软件]服装数据当然是用服装软件好些,你可以试试秘奥服装管理软件,报表分析如下: 进销存类zhidao报表:采购报表、销售报表、销售毛利、报表、库存报表。 价格跟踪分析(进货价与销价)、订...+阅读

1、ApacheMesos 代码托管地址:ApacheSVN Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享,支持Hadoop、MPI、Hypertable、Spark等。 Mesos是Apache孵化器中的一个开源项目,使用ZooKeeper实现容错复制,使用LinuxContainers来隔离任务,支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序,提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN 代码托管地址:ApacheSVN YARN又被称为MapReduce2.0,借鉴Mesos,YARN提出了资源隔离解决方案Container,但是目前尚未成熟,仅仅提供Java虚拟机内存的隔离。 对比MapReduce1.x,YARN架构在客户端上并未做太大的改变,在调用API及接口上还保持大部分的兼容,然而在YARN中,开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。

其中ResourceManager是一个中心的服务,负责调度、启动每一个Job所属的ApplicationMaster,另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护,并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作,类似老的框架中JobTracker。 Hadoop上的实时解决方案 前面我们有说过,在互联网公司中基于业务逻辑需求,企业往往会采用多种计算框架,比如从事搜索业务的公司:网页索引建立用MapReduce,自然语言处理用Spark等。

3、ClouderaImpala 代码托管地址:GitHub Impala是由Cloudera开发,一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax),可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的,第一个版本发布于2012年末。 Impala不再使用缓慢的Hive+MapReduce批处理,而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成),可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了延迟。

4、Spark 代码托管地址:Apache Spark是个开源的数据分析集群计算框架,最初由加州大学伯克利分校AMPLab开发,建立于HDFS之上。Spark与Hadoop一样,用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现,使用Scala作为应用框架。 Spark采用基于内存的分布式数据集,优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是,Spark和Scala紧密集成,Scala像管理本地collective对象那样管理分布式数据集。

Spark支持分布式数据集上的迭代式任务,实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm 代码托管地址:GitHub Storm是一个分布式的、容错的实时计算系统,由BackType开发,后被Twitter捕获。Storm属于流处理平台,多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。

它还可被用于“分布式RPC”,以并行的方式运行昂贵的运算。 Hadoop上的其它解决方案 就像前文说,基于业务对实时的需求,各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案,其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark 代码托管地址:GitHub Shark,代表了“HiveonSpark”,一个专为Spark打造的大规模数据仓库系统,兼容ApacheHive。无需修改现有的数据或者查询,就可以用100倍的速度执行HiveQL。 Shark支持Hive查询语言、元存储、序列化格式及自定义函数,与现有Hive部署无缝集成,是一个更快、更强大的替代方案。

7、Phoenix 代码托管地址:GitHub Phoenix是构建在ApacheHBase之上的一个SQL中间层,完全使用Java编写,提供了一个客户端可嵌入的JDBC驱动。

Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan,并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量级是秒。Phoenix完全托管在GitHub之上。 Phoenix值得关注的特性包括:1,嵌入式的JDBC驱动,实现了大部分的java.sql接口,包括元数据API;2,可以通过多个行键或是键/值单元对列进行建模;3,DDL支持;4,版本化的模式仓库;5,DML支持;5,通过客户端的批处理实现的有限的事务支持;6,紧跟ANSISQL标准。

8、ApacheAccumulo 代码托管地址:ApacheSVN ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案,基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路,基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发...

以下为关联文档:

目前常用的市场数据分析软件有哪些1、思迈特软件Smartbi:具有仪表盘、灵活查询、电子表格(中国式报表)、OLAP多维分析、移动BI应用、Office分析报告、自助BI分析、数据采集填报、数据挖掘等功能模块,适用于领导驾...

大数据是什么意思?哪些软件适合大数据分析"大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。...

考系统分析师需要哪些图书系统分析师的有比较好的书籍,比如希赛系统分析师视频教程或真题解析教程及一些系统分析师考试论文试题分类分析与范文等书籍。可以到希赛软考教材那里看看,有很多关于系统分析...

在软件开发中需求分析阶段需要哪些工具需求分析阶段用的工具有:数据流图(DFD图)、数据字典、判定树、判定表。 如果在进行需求分析之前没有做过可行性分析,那么补充完成这部分工作往往是必要的,从问题定义和调查研究入...

软件分析师和系统架构师的作用理论上,系统分析师是计算机软件设计(或者也包含硬件设计)的顶层人员,他们应该具有如下待遇: 1、在单位从事系统分析工作,而不是软件设计、软件维护、软件测试等具体工作,即使系统分...

软件工程图书管理系统需求分析原发布者:天涯蜜蜂浪子 目录1.概述1.编写目的2.项目背景3.定义4.参考资料5.开发环境2.需求分析1.问题提出2.系统的业务功能分析3.需完成的功能3.系统需求说明1.对功能的规定2...

常见的数据分析软件有哪些好的数据分析工具可以让数据分析事半功倍,更容易处理数据。分析一下市面上流行的四款大数据分析软件: 一、ExcelExcel使用人群众多是新手入门级数据分析工具,也是最基本的数据...

DEA数据包络分析用什么软件呢DEAP DEAP使用方法 有时我们会用到DEAP软件,DEAP软件下载下来后没有安装文件,它是直接在deap.exe文件中运行,如下为具体步骤: 操作步骤 资料档 1.Excel编制,按照产出项,投入项,(要素...

结构化方法的系统分析和系统设计需要完成什么任务任务是:在充分认识原信息系统的基础上,通过问题识别、可行性分析、详细调查、系统化分析,最终完成新系统的逻辑方案设计,或称逻辑模型设计。逻辑方案不同于物理方案,前者解决“做...

推荐阅读
图文推荐