[21世纪合格人才必备技能]SEVEN SKILLS FOR QUALIFIED EMPLOYEES IN 21ST CENTURY21世纪合格人才必备7大技能Technical and technological skills will take on greater importance. There will be...+阅读
市场观察人士称，大量公司目前正在寻求拥有综合技能，可发掘大数据竞争优势的人才。研究机构国际数据分析研究所（IIA）首席执行官Jack Phillips称：“排名第一的企业需求是招聘到能够通过数据的使用和分析获得竞争优势的人才。这一点是毫无疑问的。” 相关技能 曾经出任瑞银财富管理公司商业风险与分析总监的Sandeep Sacheti称：“现在对‘大数据专业人员’还没有一个统一的定义。” 目前Sacheti已跳槽至威科集团，并出任该集团下属企业法律服务公司客户洞察与营运绩效副总裁。 Sacheti的新职位全部是关于大数据的：利用分析法了解客户、开发新产品、削减运营成本。在他主管的一个项目中，威科集团为律师事务所提供电子账单服务的部门正在使用分析法挖掘从客户那里汇集到的数据（已取得了许可），以开发新的产品。
为了处理这些大数据工作，Sacheti目前采取双管齐下的办法，一方面从外面招聘人才，一方面培训内部员工。他根据四组技能对大数据职位进行了划分：数据科学家、数据架构师、数据可视化人员和数据调整代理人。 由于不同的人会使用不同的技能，因此目前这些职位还没有一个标准的称谓。Robert Half Technology公司高级执行董事John Reed称，同一个职位在一家公司里可能被称为数据分析师，但是在另一家公司里可能并不叫数据分析师。有的大数据职位的称谓就像Sacheti给出的职位名称那样，职位的称谓中既没有“大”这个字也没有“数据”这一词。 Phillips 和Roberts都表示，大数据职位相关的技能主要包括数学、统计学、数据分析、商业分析和自然语言处理。尽管还没有达成一致，但是数据科学家、数据架构师等职位已经逐步获得了共识。
大数据都需要什么技术
1、数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2、数据存取：关系数据库、NOSQL、SQL等。
3、基础架构：云存储、分布式文件存储等。
4、数据处理：自然语言处理（NLP,NaturalLanguageProcessing）是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机＂理解＂自然语言，所以自然语言处理又叫做自然语言理解（NLU,NaturalLanguage Understanding），也称为计算语言学（Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能（AI, Artificial Intelligence）的核心课题之一。
5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
6、数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘（Text, Web ，图形图像，视频，音频等）
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
大数据需要掌握多少知识
一、Java编程
Java语言是基础，可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等。Java语言有很多优点，它的跨平台能力赢得了很多工程师的喜爱。
二、linux基础操作命令
大数据开发一般在Linux环境下进行。
大数据工程师使用的命令主要在三方面：查看进程，包括CPU、内存；排查故障，定位问题；排除系统慢的原因等。
三、hadoop
Hadoop中使用最多的是HDFS集群和MapReduce框架。
HDFS存储数据，并优化存取过程。
MapReduce方便了工程师编写应用程序。
四、HBase
HBase可以随机、实时读写大数据，更适合于非结构化数据存储，核心是分布式的、面向列的Apache HBase数据库。
HBase作为Hadoop的数据看，它的应用、架构和高级用法对大数据开发来说非常重要。
五、Hive
Hive作为Hadoop的一个数据仓库工具，方便了数据汇总和统计分析。
六、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，可以协调为分布式应用程序。
ZooKeeper的功能主要有：配置维护、域名服务、分布式同步、组件服务。
七、phoenix
phoenix是一种开源的sql引擎，是用Java语言编写的。
八、Avro与Protobuf
Avro、Protobuf是适合做数据存储的数据序列化系统，有较丰富的数据结构类型，可以在多种不同的语言间进行通信。
九、Cassandra
Apache Cassandra是运行在服务器或者云基础设施上的可以为数据提供完美平台的数据库，具有高性能、可扩展性、高线性。
Cassandra支持数据中心间互相复制，低延迟、不受断电影响。它的数据模型有列索引、高性能视图和内置缓存。
十、Kafka
Kafka可以通过集群来提供实时的消息的分布式发布订阅消息系统，具有很高的吞吐量，主要是利用Hadoop的并行加载来统一线上、离线的消息处理。
十一、Chukwa
Chukwa是一个分布式的数据采集监视系统，具有可伸缩性和健壮性。
Chukwa的工具包可以对结果进行显示、监测、分析，充分使用收集到的数据。
十二、Flume
Flume是海量日志处理系统，具有高可用、高可靠、分布式的特点，可以对日志进行采集、聚合和传输。
Flume可以定制数据发送方来收集数据，也可以对数据简单处理后写到数据接收方。
以下为关联文档：
21世纪合格人才必备七大技能21世纪是知识经济占统治地位的信息化时代。因此，社会对人才也提出了不同于以往的要求。不难发现，更多的“复合型人才”才符合社会发展的需要。 Seven Essential Skills for Qu...
视障儿童需要掌握哪些日常生活技能你的孩子现在虽然很小，但是总有一天会长成大人的。盲童或者视力不佳的孩子可以成长为一个有能力的、对社会和家庭有贡献的人。和其他孩子一样，他必须学会怎样： ★照顾自己。★...
高级物流人才需要重点掌握的知识和技能高级物流人才需要重点掌握的知识和技能： 1、物流系统管理知识 物流管理的核心在于宏观上资源整合、微观上精益运作。从事物流管理工作的人员要熟悉该行业的基本流程，掌握物流...
幼儿教师需要掌握哪些专业技能一名合格的幼儿教师必须具备以下素质： 1、有事业心。 幼儿园的日常工作是琐碎和平凡的，同时情况又是复杂多变的，有时孩子的行为会出现问题，有时孩子的生活又需要教师特殊的照顾，...
大数据到底什么大数据科普大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极...
物流人才需要具备哪些能力物流人员应具备以下一些能力： （1）对于现代综合物流的新的理念和运作模式有突破传统的认识，由此能进一步发展对物流的认识，提出新的物流运作的模式。 （2）对于物流的各个环节的业务具...
物流人才需要哪些方面的知识）国际贸易和通关知识国际贸易包括国际采购、国际结算等。物流是商流的载体。物资的流动事实上是贸易活动的货物交付活动。随着改革开放的日益加快，特别是我国加入WTO后，外资企...
职场人需要哪些PPT的技能职场人需要哪些PPT的技能，职场新人求问：什么PPT教材比较好：职场必备技能之—制作好的PPT 好的PPT那就是工作的门面呀，当别人没有时间深入了解你的工作能力的时候，你做的PPT那就是...
产品市场策划工作需要哪些技能产品市场策划工作需要哪些技能，1金融企业营销的过程主要包括哪些：从销售向策划转型，只是一个组织能力的提升。你要知道，策划这个东西它是不能单独存在的，它就像是个寄生虫，一定要...
