Resultados da pesquisa a pedido "apache-spark"

1 a resposta

API do Apache Spark Rest

Estou usando o comando spark-submit que tenho para que as propriedades do log4j invoquem um envio do Spark assim: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options ...

0 a resposta

Spark - java.lang.ClassCastException: não é possível atribuir a instância de java.lang.invoke.SerializedLambda ao campo org.apache.spark.api.java.JavaRDDLike

public class SparkDemo { @SuppressWarnings({ "resource" }) public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("Spark APP").setMaster("spark://xxx.xxx.xxx.xx:7077"); JavaSparkContext sc = ...

1 a resposta

Existe uma interface melhor para adicionar suporte a Highcharts no Zeppelin

Apache Zeppelin [https://zeppelin.apache.org/]tem um bom suporte paraAngularJS [https://angularjs.org/]. Embora exista uma lacuna entre Scala e Javascript. Estou tentando adicionarHighcharts [http://www.highcharts.com/]apoio ao Zeppelin para ...

1 a resposta

Salvar dataframe do Spark em arquivo único no local hdfs [duplicado]

Esta pergunta já tem uma resposta aqui: Como salvar dados RDD em arquivos json, não em pastas [/questions/40577546/how-to-save-rdd-data-into-json-files-not-folders] 2 respostasTenho o dataframe e quero salvar em um único arquivo no local ...

3 a resposta

Propriedade spark.yarn.jars - como lidar com isso?

Meu conhecimento com o Spark é limitado e você perceberia isso depois de ler esta pergunta. Eu tenho apenas um nó e faísca, hadoop e fios estão instalados nele. Consegui codificar e executar o problema de contagem de palavras no modo de cluster ...

3 a resposta

Como criar um gráfico simples de faísca usando java?

Basicamente, eu sou desenvolvedor Java e agora tive a chance de trabalhar no Spark e passei pelo básico da API do Spark, como o SparkConfig, SparkContaxt, RDD, SQLContaxt, DataFrame, DataSet e, em seguida, consegui realizar algumas transformações ...

2 a resposta

chamada de distinta e mapa juntos joga NPE na biblioteca de faísca

Eu não tenho certeza se isso é um bug, então se você fizer algo assim

1 a resposta

Alteração de propriedade anulável da coluna Spark Dataframe

Desejo alterar a propriedade anulável de uma coluna específica em um Spark Dataframe. Se eu imprimir o esquema do quadro de dados atualmente, ele será exibido abaixo.col1: string (nullable = false) col2: string (nullable = true) col3: string ...

1 a resposta

PySpark: StructField (…,…, False) sempre retorna `nullable = true` em vez de` nullable = false`

Eu sou novo no PySpark e estou enfrentando um problema estranho. Estou tentando definir alguma coluna como não anulável ao carregar um conjunto de dados CSV. Posso reproduzir meu caso com um conjunto de dados muito pequeno ...

1 a resposta

PySpark Como ler CSV no Dataframe e manipulá-lo

Eu sou muito novo no pyspark e estou tentando usá-lo para processar um grande conjunto de dados que é salvo como um arquivo csv. Gostaria de ler o arquivo CSV no spark dataframe, soltar algumas colunas e adicionar novas colunas. Como devo fazer ...