spark读取外部配置⽂件之--files
在运⾏spark程序的时,有时需要读取外部配置参数,⽐如mysql的host参数、端⼝号、es主机ip、es端⼝号等。通过外部⽂件配置参数也⽅便程序迁移。下⾯就来看看如何来实现。
1、⾸先我们需要⼀个配置⽂件:雾霾和雾的区别
读取配置文件失败es.nodes: 192.16.8.16
花粥八卦es.port: 9200
象棋入门教程2、上传配置⽂件到某个节点:
归去来的演员3、然后需要在程序⾥加上如下代码:
Properties props = new Properties();
props.load(new FileInputStream("l"));
String nodes = Property("es.nodes");
String port = Property("es.port");
4、通过 Maven打包程序:test.jar
去厦门旅游
5、上传 test.jar 到集
6、执⾏ submit 命令
spark-submit --master yarn-cluster --class com.
Test
--files /home/l /home/lw/test.jar
--files 参数指定我们需要加载的外部配置⽂件