⼤数据专业认知实习
⼤数据专业认知实习
⾃我介绍
⼤家好，我是⼀名⽬前就读于兰州⽂理学院数字媒体学院数据科学与⼤数据技术专业的⼤⼀学⽣，你可以称呼我为Bob，现在请允许我简单介绍⼀下⾃⼰：
1）学习能⼒：我有较强的钻研精神，能熟练的操作Linux，能够使⽤c++、python、Java语⾔编程。
2）实践能⼒：我的专长是web前端，我希望能够在这⼀⽅⾯继续深造，曾经在学校的时候，⽤pycharm和IDEA实现web前端界⾯，运⽤SpringBoot+Thymeleaf+ECharts实现数据可视化。辞职申请书格式
3）交际能⼒：我的性格⽐较沉稳，为⼈谦逊，有独⽴进取的品性，勤于动⼿、善于动脑，适应新环境能⼒很强。富有责任感，勇于挑战和尝试。
娘道结局对⼤数据的认识
⾸先、我认为⼤数据就是互联⽹发展到现今阶段的⼀种表象或特征，在以云计算为代表的技术创新⼤幕
的衬托下，这些原本很难收集和使⽤的数据开始容易被利⽤起来了，通过各⾏各业的不断创新，⼤数据会逐步为⼈类创造更多的价值。想要系统的认知⼤数据，我认为有三个⽅⾯：
1、理论，是认知的必经途径，也是被⼴泛认同和传播的基线。
2、技术，是⼤数据价值体现的⼿段和前进的基⽯。分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明⼤数据从采集、处理、存储到形成结果的整个过程。
3、实践，是⼤数据的最终价值体现。分别从互联⽹的⼤数据，政府的⼤数据，企业的⼤数据和个⼈的⼤数据四个⽅⾯来描绘⼤数据已经展现的美好景象及即将实现的蓝图。
其次、⼤数据是什么？投资者眼⾥是⾦光闪闪的两个字：资产。在各⾏各业，探求数据价值取决于把握数据的⼈，关键是⼈的数据思维；与其说是⼤数据创造了价值，不如说是⼤数据思维触发了新的价值增长。业界将⼤数据的特征归纳为4个“V”（①数据体量巨⼤；②数据类型多；③价值密度低，商业价值⾼；④处理速度快。这⼀点也是和传统的数据挖掘技术有着本质的不同）⼤数据并不在“⼤”，⽽在于“有⽤”。
⼤数据⽆处不在，所以⽤户隐私问题⼀直是⼤数据应⽤难以绕开的⼀个问题。⽬前，中国并没有专门的法律法规来界定⽤户隐私，处理相关问题时多采⽤其他相关法规条例来解释。但随着民众隐私意识的⽇益增强，合法合规地获取数据、分析数据和应⽤数据，是进⾏⼤数据分析时必须遵循的原则。
最后，未来⼤数据的⾝影应该⽆处不在，就算⽆法准确预测⼤数据终会将⼈类社会带往到哪种最终形态，但我相信只要发展脚步在继续，因⼤数据⽽产⽣的变⾰浪潮将很快淹没地球的每⼀个⾓落。
  当然，上⾯的⼀切看起来都很美好，但是否是以牺牲了⽤户的⾃由为前提呢？只能说当新鲜事物带来了⾰新的同时也同样带来了“病菌”。⼤家慢慢习惯了和⼿机共渡时光，⼈与⼈之间情感交流仿佛永远隔着⼀张“⽹”。
  ## ⼤数据在旅游业⽅⾯的应⽤
⽬的
让⽤户有更多的参考和选择，为他们制造出⼀个最适合的旅游计划。
需要获取的信息
⼤数据：
⾸先，⼤数据可以建⽴⼀个游客的数据统计⽹站，我们可以以游客的吃、住、⾏、游、购、娱为数据模型，得到⼀些重要的数据。
物联⽹：
物联⽹把新⼀代的IT技术运⽤到旅游⾏业，通过对⼈和物之间的信息采集和信息交换，最终借助移动智能终端有针对性的为游客提供综合信息查询、在线预订、⾏程规划、线路选择等服务，为游客出⾏提供了充分的信息参考和选择。
云计算：
游客在游览过程中，通过⼿持智能终端获取旅⾏相关信息。旅游服务和产品都可以通过云端推送到⽤户⾝边，从基础的订房、订餐、导航到实时多媒体导览、基于移动⽀付的导购。
⼀⽅⾯，云计算使得旅游资源的利⽤率、服务效率、服务可⽤性⼤⼤提⾼；另⼀⽅⾯，云计算使得旅游产品的个性化⽤户体验的满意度⼤⼤增强。
⼈⼯智能：
①⽤户在⽤相关在线旅游平台办理签证时，可以通过⼿机扫描护照或⾝份证，信息会⾃动识别并填写到申请表上；可直接通过⾃拍功能解决签证照⽚，系统会⾃动调整并⽣成符合规定的照⽚；办理进度可通过⼿机客户端⾃助查看实时追踪，随时可查。
②智能定制旅游；
③通过结合环境，聊天机器⼈能够为客户推送产品；在出⾏前，根据旅客特征及偏好信息，为旅客提供⽬的地资讯及⾏程规划；在出⾏中，景点、餐厅、当地交通指南、实时翻译、折扣信息，在旅⾏过程中的各类问题，聊天机器⼈可以实时优选解决⽅案；⾏程结束后出现的问题，也能得到及时回复。
实习内容
⼤数据⾏业发展趋势与⼈才需求
1、⼤数据技术趋势及应⽤
2、什么是⼤数据
3、⼤数据的特点
4、⼤数据的应⽤领域
5、华为⼤数据解决⽅案
6、⼤数据⼈才需求与职业岗位分析
7、如何学习⼤数据
8、华为⼤数据认证体系
⼤数据基础环境和⼯具认知
链接:
1、Java编程环境部署
2、IDEA代码编辑⼯具的使⽤
3、Maven项⽬管理⼯具介绍
4、Java模拟定时⽣成⽇志到⽂件
5、通过打包案例了解域名映射
teach的过去式数据可视化介绍与展⽰
链接:
1、Web前端知识介绍
2、ECharts介绍及使⽤
3、实践完成数据可视化⼩案例
Linux操作系统的初步使⽤体验
链接:
1、Linux操作系统介绍
2、常⽤命令介绍
3、Linux环境体验
4、VI编辑器的使⽤
5、Shell脚本的使⽤
⼤数据⼊门
工资证明格式1、Hadoop⽣态圈及三⼤组件
2、HDFS架构与MapReduce原理
3、⼤数据学习环境的搭建
4、跑通MapReduce⼤数据统计案例
计算框架介绍与案例演⽰
1、Spark框架介绍
2、Spark⽣态圈及组件
3、Spark提交作业流程
4、搭建Spark集环境
5、跑通Spark⼤数据统计案例
黄晓明身高多少总结
安装jdk：
1、不要使⽤中⽂路径，会提⽰向导错误。
2、配置好环境变量后，需要回去看⼀下，是否多了双引号 （win10）
3、路径jdk1.8xxxx与jre1.8xxxx是并列关系
4、如果第⼀次javac不⾏，应该是你的jdk1.8xxx与jre1.8xxx 的路径不对。下次改好后，需要关掉之前的运⾏窗⼝，再启动 ，再运⾏javac查看结果。
配置环境变量：
1、JAVA_HOME就代表JDK的Home路径！
2、在Win上使⽤JAVA_HOME路径的⽅式是在它的前后加上%:%JAVA_HOME%
3、jar包⽂件，即别⼈写好的java程序进⾏打包后的件。假如你写好了⼀个java程序，你要给别⼈使⽤，你就可以打包成jar包，然后别⼈拿到你的jar包，就可以直接使⽤了。前提是：要有java的运⾏环境！
4、Path路径也是⼀个变量！我们最终需要配置的路径其实是：
D:\Program Files\Java\jdk1.8.0_261\bin
泡鸭爪D:\Program Files\Java\jdk1.8.0_261\jre
这两个路径
5、java、javac其实是可以在任意路径都可以执⾏的，系统会⾃动去环境变量配置的路径⾥⾯去查你执⾏的命令⽂件！！
安装maven：
Maven，简⽽⾔之，就是⼀个项⽬管理⼯具，也是⼀个包管理⼯具。项⽬管理⼯具体现在，你在构建Java项⽬的时候，可以选择构建⼀个由Maven管理的项⽬，那么你这个项⽬的jar包就全部关联Maven了，那 么Jar包就全部交由Maven管理了，包管理的功能也体现于此。Maven下载的jar包，放在你的maven的安装路径的l ⾥⾯配置的LocalRepository的路径。Maven管理的这些jar包是在l⾥⾯配置的mirror路径的！
如果想要⽤⼀个域名来代替127.0.0.1，需要修改⼀下映射表（C:\Windows\System32\drivers\etc\hosts），把映射关系加上去，就可以通过这个域名来代替127.0.0.1这个ip了
Maven依赖引⼊：
1、搜索Maven repository，进⼊Maven远端仓库依赖下载路径，在⾥⾯的搜索框中搜索：hadoop-client，点击进⼊，选择2.7.5版本。
2、粘贴到l的<Dependencies〉标签⾥⾯！
3、右击l⽂件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖
4、等待下⾯的进度条不再闪动！
构建⼀个Springboot⼯程，其中有两个注意的地⽅：选择Spring web和thymelef，然后点击构建！务必确保Maven已经配置好！！
构建中可能会遇到的问题：
1、提⽰报各种错误
解决：重新建⼯程，多建⼏遍。
2、依赖报红
解决⽅法1：右击l⽂件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖
如果不⾏，继续！
解决⽅法2：去把你的本地仓库的地址（D:\mvn_repos）⾥⾯的内容全删了（谨慎使⽤），然后右击l⽂件，选择maven，选择reimport（2018版本IDEA）或者reload project（2020版本IDEA），等待下载依赖。
3、项⽬的结构跟⽼师的不同
解决：确保选中的是Spring Initializr
收获和感想
这次实习我的收获很多，认识到了什么是⼤数据，⼤数据的特点、发展趋势、未来就业情况等问题。学会了JAVA编程环境部署。IDEA代码编辑⼯具的使⽤，对Maven项⽬管理⼯具基本的认识，进⾏了Linux环境体验。学习了hadoop⽣态圈及三⼤组件：HDFS、YARN、MapReduce。同时我也认识到⾃
⼰有许多的不⾜，在今后我会根据⾃⼰的不⾜做出相应对策，增强⾃⼰的实践能⼒。为未来的职业发展创造坚实的基础。