您好,欢迎来到飒榕旅游知识分享网。
搜索
您的当前位置:首页spark-submit提交任务报错:java.sql.SQLException:No suitable driver

spark-submit提交任务报错:java.sql.SQLException:No suitable driver

来源:飒榕旅游知识分享网

提交任务时一直报错:No suitable driver
提交任务命令如下

spark-submit \
--master yarn-client \
--num-executors 1 \
--executor-cores 2 \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=4 \
--class com.dy.ads.ads_rk_ccxx_population_property ../../script/smart-city-1.0.jar

每次执行这个命令都会报错,经过查询资料,尝试了加入--jars /opt/sparkJob/mysql-connector-java-5.1.47.jar也不行,后来又看到相关资料,还需要加入--conf spark.executor.extraClassPath=/opt/sparkJob/mysql-connector-java-5.1.47.jar才可以
完整命令如下
 

spark-submit \
--jars ../../jars/mysql-connector-java-5.1.37.jar \
--driver-class-path ../../jars/mysql-connector-java-5.1.37.jar \
--conf spark.executor.extraClassPath=/opt/sparkJob/mysql-connector-java-5.1.37.jar \
--master yarn-client \
--num-executors 1 \
--executor-cores 2 \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=4 \
--class com.dy.ads.ads_rk_ccxx_population_property ../../script/smart-city-1.0.jar

这三个必须都加上才可以,即--jars--driver-class-path--conf

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- sarr.cn 版权所有 赣ICP备2024042794号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务