数据⽅向学习⽅向和⽬标
⼀、学习⽬标
企业级⼤数据⼯程师实训以Java,Python,数据库,Linux 为技术基础,提⾼学员⼤数据开发技术⽔平及综合素质为根本⽬标。在专业技术上突出强调学员对专业知识的实际应⽤;在综合素质上突出强调学员的学习及应⽤能⼒、分析和解决问题的能⼒、良好的职业素质和团队合作。
⽴⾜于培养⼤数据开发、架构设计、项⽬管理、技术⽀持等⽅向的⼈才,学⽣在具有必备的基础理论知识和专业知识的基础上,培养以下能⼒:
①掌握主流的开源⼤数据技术,包括安装、使⽤、开发;
②理解⼤数据开发特点;能基于⽤户的业务场景给出⼤数据技术解决⽅案;
③掌握企业⼤数据项⽬开发分析、设计、实现、测试、发布全过程;
④了解并体验企业⼯作环境和⼯作⽅式;
⑤培养职业素质、团队合作精神及沟通能⼒,体验企业⽂化,适应未来的⼯作环境;
⑥增强实训学员的就业能⼒,培养符合企业需求的⼤数据⼯程师。
⼆、学习⽅向
致给自己的生日祝福语阶段⼀:⼤数据基础
1. Linux虚拟机安装
2. Linux操作⽅法与常⽤命令
3. Linux软件安装。
4. 复杂逻辑的SQL实现
5. 海量数据的SQL开发注意事项
6. 简单⽹络数据抓取
7. 需验证登录的⽹络数据抓取
阶段⼆:数据仓库
8. 数据仓库基本概念
9. 数据仓库设计
10. ⽤kettle实现ETL开发
11. ⽤EasySchedule实现ETL开发
12. 数据质量和任务调度
阶段三:Apache Hadoop
13. Hadoop安装与参数设置
14. Hadoop概述范志博老公
15. HDFS操作⽅法
16. java开发远程访问HDFS
17. MR开发语法
18. hadoop⽣态绍
19. Apache Hive简介与操作
20. Apache Hive开发
21. Apache Spark安装
22. Apache Spark原理
23. Apache Spark Dataset开发语法
24. Apache Spark SQL开发语法
吃火龙果什么好处25. Apache Spark RDD开发语法
26. Apache Spark RDD开发案例解析
27. Apache HBASE安装
28. Apache HBASE原理
28. Apache HBASE原理克劳迪娅 奥乔亚 费利克斯
29. Apache HBASE开发语法
阶段四:流计算
30. Apache KAFKA安装
31. Apache KAFKA原理
32. Apache KAFKA消息⽣产者开发
33. Apache KAFKA消息消费者开发
34. Apache Flink安装
35. Apache Flink原理
36. Flink DataStream 接收socket数据源
37. Flink DataStream 接收KAFKA数据源
38. Apache Flink 数据输出到hdfs、mysql
阶段五:⾼性能数据库
39. ElasticsSearch安装
40. ElasticsSearch原理
41. ElasticsSearch的增删改查开发
42. ClickHouse安装
福州有什么好玩的地方43. ClickHouse原理
44. ClickHouse语法
45. ClickHouse远程访问
阶段六: 数据挖掘关于老师的歌曲
46. 数据挖掘流程
47. 常⽤算法
48. 数据挖掘⼯具WEKA使⽤
49. Java调⽤WEKA算法开发
50. Java 调⽤xgboost算法开发
51. Python调⽤常⽤机器学习算法
阶段七:数据可视化
52. JimuReport安装
53. JimuReport开发流程
54. JimuReport表格开发
55. JimuReport图形开发
阶段⼋: 架构设计
56. 架构设计概述
57. 功能架构设计
58. 技术架构设计
59. 系统架构设计
60. 硬件与⽹络设计