Я сталкиваюсь с очень странной проблемой при попытке загрузить JDBC DataFrame в Spark SQL.

Я попробовал несколько кластеров Spark - YARN, автономный кластер и псевдораспределенный режим на моем ноутбуке. Это воспроизводимо как на Spark 1.3.0, так и на 1.3.1. Проблема возникает в обоихspark-shell и при выполнении кода сspark-submit, Я пробовал драйверы MySQL и MS SQL JDBC без успеха.

Рассмотрим следующий пример:

val driver = "com.mysql.jdbc.Driver"
val url = "jdbc:mysql://localhost:3306/test"

val t1 = {
  sqlContext.load("jdbc", Map(
    "url" -> url,
    "driver" -> driver,
    "dbtable" -> "t1",
    "partitionColumn" -> "id",
    "lowerBound" -> "0",
    "upperBound" -> "100",
    "numPartitions" -> "50"
  ))
}

Пока все хорошо, схема разрешается правильно:

t1: org.apache.spark.sql.DataFrame = [id: int, name: string]

Но когда я оцениваю DataFrame:

t1.take(1)

Следующее исключение происходит:

15/04/29 01:56:44 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, 192.168.1.42): java.sql.SQLException: No suitable driver found for jdbc:mysql://<hostname>:3306/test
    at java.sql.DriverManager.getConnection(DriverManager.java:689)
    at java.sql.DriverManager.getConnection(DriverManager.java:270)
    at org.apache.spark.sql.jdbc.JDBCRDD$anonfun$getConnector$1.apply(JDBCRDD.scala:158)
    at org.apache.spark.sql.jdbc.JDBCRDD$anonfun$getConnector$1.apply(JDBCRDD.scala:150)
    at org.apache.spark.sql.jdbc.JDBCRDD$anon$1.<init>(JDBCRDD.scala:317)
    at org.apache.spark.sql.jdbc.JDBCRDD.compute(JDBCRDD.scala:309)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:244)
    at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
    at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)
    at org.apache.spark.rdd.RDD.iterator(RDD.scala:244)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)
    at org.apache.spark.scheduler.Task.run(Task.scala:64)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

Когда я пытаюсь открыть соединение JDBC на исполнителя:

import java.sql.DriverManager

sc.parallelize(0 until 2, 2).map { i =>
  Class.forName(driver)
  val conn = DriverManager.getConnection(url)
  conn.close()
  i
}.collect()

работает отлично:

res1: Array[Int] = Array(0, 1)

Когда я запускаю тот же код на локальном Spark, он тоже отлично работает:

scala> t1.take(1)
...
res0: Array[org.apache.spark.sql.Row] = Array([1,one])

Я использую Spark, предварительно собранный с поддержкой Hadoop 2.4.

Самый простой способ воспроизвести проблему - запустить Spark в псевдораспределенном режиме сstart-all.sh Сценарий и выполните следующую команду:

/path/to/spark-shell --master spark://<hostname>:7077 --jars /path/to/mysql-connector-java-5.1.35.jar --driver-class-path /path/to/mysql-connector-java-5.1.35.jar

Есть ли способ обойти это? Это выглядит как серьезная проблема, поэтому странно, что поиск в Google здесь не помогает.