Resultados da pesquisa a pedido "apache-spark"
O trabalho assíncrono do Spark falha com erro
Estou escrevendo código para faísca em java. Quando eu usoforeachAsync faísca falha e me dájava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. Neste código: JavaSparkContext sparkContext = new ...
subtrair duas colunas com null no spark dataframe
Eu sou novo no spark, tenho dataframe df: +----------+------------+-----------+ | Column1 | Column2 | Sub | +----------+------------+-----------+ | 1 | 2 | 1 | +----------+------------+-----------+ | 4 | null | null ...
Como adicionar várias colunas usando UDF?
Pergunta, questão Desejo adicionar os valores de retorno de um UDF a um quadro de dados existente em colunas separadas. Como faço para conseguir isso de uma maneira engenhosa? Aqui está um exemplo do que tenho até agora. from ...
Como criar bons exemplos reproduzíveis do Apache Spark
Passei bastante tempo lendo algumas perguntas com opyspark [/questions/tagged/pyspark]espark-dataframe [/questions/tagged/spark-dataframe] tags e, muitas vezes, acho que os pôsteres não fornecem informações suficientes para entender realmente a ...
Qual é a diferença entre SparkSession.sql e Dataset.sqlContext.sql?
Tenho os seguintes trechos do código e me pergunto qual é a diferença entre esses dois e qual deles devo usar? Estou usando o spark 2.2. Dataset<Row> df = sparkSession.readStream() .format("kafka") .load(); df.createOrReplaceTempView("table"); ...
Carregar dados CSV no Dataframe e converter em matriz usando o Apache Spark (Java)
Eu tenho um arquivo CSV com os dados abaixo: 1,2,5 2,4 2,3Eu quero carregá-los em um Dataframe com esquema de seqüência de caracteres da matriz A saída deve ser como abaixo. [1, 2, 5] [2, 4] [2, 3]Isso foi respondido usando o scala aqui:Spark: ...
Por que o envio de spark falha com "IllegalArgumentException: falta de recurso do aplicativo"?
Quando crio o jar do meu aplicativo Spark e tento executá-lo usandospark-submit, Eu estou recebendo o seguinte erro. Este é o comando que eu costumava executar. spark-submit --executor-memory 1g ...
Como explodir uma coluna separada por espaço?
Eu tenho um exemplo de quadro de dados no Spark Scala que contém uma coluna e muitas outras colunas com mais de 50 e precisa explodir o ID: dados de exemplo: id name address 234 435 567 auh aus 345 123 muji ukdados de saída: id name address ...
O Apache Spark subtrai dias da coluna timestamp
Estou usando o Spark Dataset e estou com problemas para subtrair dias de uma coluna de carimbo de data / hora. Gostaria de subtrair os dias da coluna Timestamp e obter uma nova coluna com o formato completo de data e hora. Exemplo: 2017-09-22 ...
Spark 2.2 Scala DataFrame selecione da matriz de strings, capturando erros
Eu sou novo no SparkSQL / Scala e estou lutando com algumas tarefas aparentemente simples. Estou tentando criar algum SQL dinâmico a partir de uma matriz de seqüência de caracteres Scala. Estou tentando redigitar algumas colunas no meu ...