导入jar包,比如导入pymysql

发布时间 2023-11-12 01:02:27作者: 一叶菩提一粒尘

1 jar加载

查看源码运行脚本:%SPARK_HOME%\bin\spark-class2.cmd 关于jar包加载的说明。

1.1 将包放到文件夹路径%SPARK_HOME%\jars里

anaconda是一样的哈,不需要额外改路径。

下载地址去mysql官网下哈,下载对应mysql版本的。https://dev.mysql.com/downloads/connector/j/

     解压后就是jar包。

 1.2 重启jupyter后可以生效。

2 脚本里import pymysql

然后可以直接写连接串了。

df2 = spark.read \
    .format("jdbc") \
    .option("url", url_Mysql) \
    .option("dbtable", "apps_small") \
    .option("user", "spark") \
    .option("password", "123456") \
    .load()