python做⼤数据开发是做什么的_⼤数据开发是⼲什么的？如
何去学？就业前景如何？...
♥ ⼤数据开发是⼲什么的？
⼤数据作为时下⽕热的IT⾏业的词汇，随之⽽来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕⼤数据的商业价值的利⽤逐渐成为⾏业⼈⼠争相追捧的利润焦点。随着⼤数据时代的来临，⼤数据开发也应运⽽⽣。
⾸先从⼯作内容，⼤数据开发主要负责⼤数据的⼤数据挖掘，数据清洗的发展，数据建模⼯作，主要负责处理和⼤数据应⽤，结合⼤数据可视化分析⼯程师，挖掘出价值的数据，为企业提供业务发展⽀持。⼤数据数据开发⼯程师偏重建设和优化系统。
⼤数据开发其实分两种：
第⼀类是编写⼀些Hadoop、Spark的应⽤程序，第⼆类是对⼤数据处理系统本⾝进⾏开发。第⼆类⼯作的话通常才⼤公司⾥才有，⼀般他们都会搞⾃⼰的系统或者再对开源的做些⼆次开发。这种⼯作的话对理论和实践要求的都更深⼀些，也更有技术含量。
⽬前，⼀个⼤数据⼯程师的⽉薪轻松过万，⼀个有⼏年⼯作经验的⼯程师薪酬在40万~160万元之间不等，⽽更顶尖的⼤技术⼈才则是年薪轻松超百万。
⼤数据开发学习有⼀定难度，零基础⼊门⾸先要学习Java语⾔打基础，⼀般⽽⾔，Java学习SE、EE，需要约3个⽉的时间；然后进⼊⼤数据技术体系的学习，主要学习Hadoop、Spark、Storm
⼤数据基础知识、⼤数据平台知识、⼤数据场景应⽤。
⼤数据基础知识有三个主要部分：数学、统计学和计算机；
⼤数据平台知识：是⼤数据开发的基础，往往以搭建Hadoop、Spark平台为主；谢娜刘烨分手原因
⼤数据场景是⽬前⼤数据的重要应⽤，这些场景包括很多领域，⽐如⾦融⼤数据、交通⼤数据、教育⼤数据、餐饮⼤数据等等，这些场景应⽤的背后也需要对⾏业知识有⼀定的了解。
⼤数据未来的发展空间很不错，学习⼤数据是⼀个不错的选择。
⼤数据⽅⾯有很多的技术：
⼀是⼤数据平台本⾝，⼀般是基于某些Hadoop产品如CDH的产品部署后提供服务。部署的产品⾥⾯有很多的组件，如HIVE、HBASE、SPARK、ZOOKEEPER等；
⼆是ETL，即数据抽取过程；⼤数据平台中的原始数据⼀般是来源于公司内的其它业务系统，如银⾏⾥⾯的信贷、核⼼等，这些业务系统的数据每天会从业务系统抽取到⼤数据平台中，然后进⾏⼀系列的标准化、清理等操作，再然后经过⼀些建模⽣成⼀些模型给下游系统使⽤；
三是数据分析；在数据收集完成后基于这些数据要做⼀些什么样的处理，典型的如报表应⽤，那每天可能就是写SQL开发报表了；还有⼀些如风险监测等平台，都要基于⼤数据平台收集的数据来进⾏处理。
♥ ⼤数据开发需要掌握哪些技术？学习路线如何？
阶段⼀：Linux&Hadoop⽣态体系基础知识、原理
Linux体系、Python编程语⾔核⼼⽤法、Hadoop离线计算原理、分布式数据库Hbase、数据仓库Hive、Flume分布式⽇志采集、zookeeper全局分布式锁、kafka分布式发布-订阅消息系统、spark分布式计算框架。
阶段⼆：分布式计算框架和Spark&Strom/flink⽣态体系
(1)分布式计算框架优化与实战
春联上下联左右顺序
Scala编程语⾔核⼼⽤法、Spark(sql、shell)⼤数据处理、Spark—Streaming⼤数据处理、Spark—Mlib机器学习)⼤数据处理、Spark—Streaming⼤数据处理、Spark—Mlib机器学习、hive数仓实战、hbase实战。
实战⼀：数据采集业务 + flume中东国家有哪些
实战⼆：kafka + sparkstreaming实时数据处理
实战三：推荐系统(完整流程)+ ⼯程
(2)Storm/flink技术架构体系
Storm/flink原理、基础、调优 消息队列kafka、Redis⼯具、zookeeper详解
实战⼀：LogServer
实战⼆：storm/flink + zookeeper
什么是网络营销实战三：hbase+zookeeper
阶段三、数据挖掘与机器学习
结巴+隐马尔科夫、维特⽐算法+userCF、spark实现userCF+itemCF+LR+商品预测、决策树+随机森林+GBDT、⽀持向量机SVM、神经⽹络与深度学习、word2vec + lstm、als算法、kmeans + spark应⽤ + 交叉特征、贝叶斯 + 新闻分类 + saprk应⽤。
♥ ⼤数据开发需要掌握数学知识吗？
1、⼤数据分析需要数学及统计学基础
2、⼤数据开发主要学习编程技术，不需要数学基础
♥ ⼤数据开发就业前景如何？
1、⼤数据⼈才缺⼝百万+
2、2018年⼀线城市⼤数据开发岗位年薪30w
3、与⼈⼯智能、云计算以及电商、旅游、物流等⾏业的对接将更加深⼊，发展⽅向也更加⼴泛
♥ ⼤数据开发⼯程师薪资待遇及招聘要求？
⼤数据开发⼯程师
什么言什么语的成语北京⼤数据开发平均⼯资：¥ 20230/⽉。
⼤数据开发⼯程师/专家 岗位指责(引⾃ 滴滴出⾏)：
职位描述：
1、构建分布式⼤数据服务平台，参与和构建公司包括海量数据存储、离线/实时计算、实时查询，⼤数据系统运维等系统；
2、服务各种业务需求，服务⽇益增长的业务和数据量；
3、深⼊源码内核改进优化开源项⽬，解决各种hadoop、spark、hbase疑难l问题，参与到开源社区建设和代码贡献。
岗位要求：
1、计算机或相关专业本科以上学历(2年以上⼯作经验)；
2、精通C++/Java/Scala/python 程序开发(⾄少⼀种)，熟悉Linux/Unix开发环境；
3、熟悉常⽤开源分布式系统，精通Hadoop/Hive/Spark/Storm/Flink/HBase之⼀源代码；
4、有⼤规模分布式系统开发、维护经验，有故障处理能⼒，源码级开发能⼒；
5、具有良好的沟通协作能⼒，具有较强的分享精神；
6、对Kudu、Kylin、Impala、ElasticSearch，github等系统有深⼊使⽤和底层研究者加分。剑灵没活力了怎么办
♥ ：什么样的⼈，适合学习⼤数据开发？