Suchergebnisse für Anfrage "apache-spark-sql"
Spark - WÄHLEN SIE WO oder filtern?
Was ist der Unterschied zwischen der Auswahl mit einer where-Klausel und der Filterung in Spark? Gibt es Anwendungsfälle, bei denen einer geeigneter ist als der andere? Wann verwende ich DataFrame newdf = ...
Vergleichsoperator in PySpark (ungleich /! =)
Ich versuche, alle Zeilen in einem Datenrahmen zu erhalten, in denen zwei Flags auf "1" gesetzt sind, und anschließend alle diejenigen, in denen nur einer von zwei auf "1" gesetzt ist, und der andereNICHT GLEIC bis 1' Mit dem folgenden Schema ...
Spark 2.0 - "Tabelle oder Ansicht nicht gefunden" beim Abfragen von Hive [closed]
Wenn Hive über @ abgefragt wispark-shell 2.0: spark.sql("SELECT * FROM schemaname.tablename")It löst einen Fehler aus: 16/08/13 09:24:17 INFO execution.SparkSqlParser: Parsing command: SELECT * FROM schemaname.tablename ...
Spark Dataframe Maximale Spaltenanzahl
Was ist die maximale Spaltenanzahl von spark Dataframe? Ich habe versucht, es aus der Datenrahmendokumentation abzurufen, konnte es jedoch nicht finden.
Anzahl der Partitionen von Spark Dataframe
Kann jemand erklären, wie viele Partitionen für einen Spark-Datenrahmen erstellt werden. Ich weiß, dass wir beim Erstellen einer RDD die Anzahl der Partitionen wie folgt angeben können. val RDD1 = sc.textFile("path" , 6)Aber für ...
wie man json mit schema in spark dataframes / spark sql liest
sql / dataframes, bitte helfen Sie mir oder machen Sie einen guten Vorschlag, wie man diesen json @ lies { "billdate":"2016-08-08', "accountid":"xxx" "accountdetails":{ "total":"1.1" "category":[ { "desc":"one", "currentinfo":{ "value":"10" }, ...
Wie filtere ich Spark-Datenrahmen, wenn eine Spalte Mitglied einer anderen Spalte ist?
Ich habe einen Datenrahmen mit zwei Spalten (eine Zeichenfolge und ein Array von Zeichenfolge): root |-- user: string (nullable = true) |-- users: array (nullable = true) | |-- element: string (containsNull = true)Wie kann ich den Datenrahmen so ...
SparkSQL auf HBase Tables
Anybody verwendet SparkSQL direkt für HBase-Tabellen, wie SparkSQL für Hive-Tabellen. Ich bin neu zu funken. Bitte führen Sie mich, wie man Hbase und Funken verbindet. Wie man auf Hbase-Tabellen abfragt.
Wie greife ich auf ein Element einer VectorUDT-Spalte in einem Spark-DataFrame zu?
Ich habe einen Datenrahmendf mit einerVectorUDT Spalte mit dem Namenfeatures. Wie erhalte ich ein Element der Spalte, beispielsweise das erste Element? Ich habe Folgendes versucht from pyspark.sql.functions import udf first_elem_udf = ...
Spark Arrays zusammenführen / kombinieren in groupBy / aggregate
Der folgende Spark-Code demonstriert richtig, was ich tun möchte, und generiert die richtige Ausgabe mit einem winzigen Demo-Datensatz. Wenn ich denselben allgemeinen Codetyp auf einer großen Menge von Produktionsdaten ausführe, treten ...