Suchergebnisse für Anfrage "apache-spark-sql"

2 die antwort

Spark - WÄHLEN SIE WO oder filtern?

Was ist der Unterschied zwischen der Auswahl mit einer where-Klausel und der Filterung in Spark? Gibt es Anwendungsfälle, bei denen einer geeigneter ist als der andere? Wann verwende ich DataFrame newdf = ...

4 die antwort

Vergleichsoperator in PySpark (ungleich /! =)

Ich versuche, alle Zeilen in einem Datenrahmen zu erhalten, in denen zwei Flags auf "1" gesetzt sind, und anschließend alle diejenigen, in denen nur einer von zwei auf "1" gesetzt ist, und der andereNICHT GLEIC bis 1' Mit dem folgenden Schema ...

0 die antwort

Spark 2.0 - "Tabelle oder Ansicht nicht gefunden" beim Abfragen von Hive [closed]

Wenn Hive über @ abgefragt wispark-shell 2.0: spark.sql("SELECT * FROM schemaname.tablename")It löst einen Fehler aus: 16/08/13 09:24:17 INFO execution.SparkSqlParser: Parsing command: SELECT * FROM schemaname.tablename ...

TOP-Veröffentlichungen

2 die antwort

Spark Dataframe Maximale Spaltenanzahl

Was ist die maximale Spaltenanzahl von spark Dataframe? Ich habe versucht, es aus der Datenrahmendokumentation abzurufen, konnte es jedoch nicht finden.

2 die antwort

Anzahl der Partitionen von Spark Dataframe

Kann jemand erklären, wie viele Partitionen für einen Spark-Datenrahmen erstellt werden. Ich weiß, dass wir beim Erstellen einer RDD die Anzahl der Partitionen wie folgt angeben können. val RDD1 = sc.textFile("path" , 6)Aber für ...

4 die antwort

wie man json mit schema in spark dataframes / spark sql liest

sql / dataframes, bitte helfen Sie mir oder machen Sie einen guten Vorschlag, wie man diesen json @ lies { "billdate":"2016-08-08', "accountid":"xxx" "accountdetails":{ "total":"1.1" "category":[ { "desc":"one", "currentinfo":{ "value":"10" }, ...

4 die antwort

Wie filtere ich Spark-Datenrahmen, wenn eine Spalte Mitglied einer anderen Spalte ist?

Ich habe einen Datenrahmen mit zwei Spalten (eine Zeichenfolge und ein Array von Zeichenfolge): root |-- user: string (nullable = true) |-- users: array (nullable = true) | |-- element: string (containsNull = true)Wie kann ich den Datenrahmen so ...

2 die antwort

SparkSQL auf HBase Tables

Anybody verwendet SparkSQL direkt für HBase-Tabellen, wie SparkSQL für Hive-Tabellen. Ich bin neu zu funken. Bitte führen Sie mich, wie man Hbase und Funken verbindet. Wie man auf Hbase-Tabellen abfragt.

2 die antwort

Wie greife ich auf ein Element einer VectorUDT-Spalte in einem Spark-DataFrame zu?

Ich habe einen Datenrahmendf mit einerVectorUDT Spalte mit dem Namenfeatures. Wie erhalte ich ein Element der Spalte, beispielsweise das erste Element? Ich habe Folgendes versucht from pyspark.sql.functions import udf first_elem_udf = ...

2 die antwort

Spark Arrays zusammenführen / kombinieren in groupBy / aggregate

Der folgende Spark-Code demonstriert richtig, was ich tun möchte, und generiert die richtige Ausgabe mit einem winzigen Demo-Datensatz. Wenn ich denselben allgemeinen Codetyp auf einer großen Menge von Produktionsdaten ausführe, treten ...