Ich versuche, eine Hive-Abfrage mit Spark 1.5.1 im Standalone-Modus und Hive 1.2.0 JDBC-Version auszuführen.

Hier ist mein Code:

private static final String HIVE_DRIVER = "org.apache.hive.jdbc.HiveDriver";
private static final String HIVE_CONNECTION_URL = "jdbc:hive2://localhost:10000/idw";
private static final SparkConf sparkconf = new SparkConf().set("spark.master", "spark://impetus-i0248u:7077").set("spark.app.name", "sparkhivesqltest")
                .set("spark.cores.max", "1").set("spark.executor.memory", "512m");

private static final JavaSparkContext sc = new JavaSparkContext(sparkconf);
private static final SQLContext sqlContext = new SQLContext(sc);
public static void main(String[] args) {                
    //Data source options
    Map<String, String> options = new HashMap<String, String>();
    options.put("driver", HIVE_DRIVER);
    options.put("url", HIVE_CONNECTION_URL);
    options.put("dbtable", "(select * from idw.emp) as employees_name");
    DataFrame jdbcDF =    sqlContext.read().format("jdbc").options(options).load();    
    }

Ich erhalte unter Fehler beisqlContext.read().format("jdbc").options(options).load();

Exception in Thread "main" java.sql.SQLException: Methode in org.apache.hive.jdbc.HiveResultSetMetaData.isSigned nicht unterstützt (HiveResultSetMetaData.java:143) bei

org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD $ .resolveTable (JDBCRDD.scala: 135) unter org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation. (JDBCRelation.scala: 91) at org.apache.spark.sql.execution.datasources.jdbc.DefaultSource.createRelation (DefaultSource.scala: 60) at org.apache.spark.sql.execution.datasources.ResolvedDataSource $ .apply (ResolvedDataSource.scala: 125) at org.apache.spark.sql.DataFrameReader.load (DataFrameReader.scala: 114)

Ich verwende Spark 1.5.1 im Standalone-Modus. Hadoop-Version ist 2.6. Hive-Version ist 1.2.0.

Hier ist die Abhängigkeit, die ich in Java-Projekt in pom.xml hinzugefügt habe

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>1.5.1</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.5.1</version>
</dependency>

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>1.2.0</version>
    <exclusions>
    <exclusion>
        <groupId>javax.servlet</groupId>
        <artifactId>servlet-api</artifactId>
    </exclusion>
    </exclusions>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.0</version>
</dependency>

Kann mir jemand dabei helfen? Wenn jemand spark 1.5.1 mit hive jdbc verwendet hat, können Sie mir bitte die kompatible Version von hive for spark 1.5.1 mitteilen.

Danke im Voraus..