Resultados da pesquisa a pedido "apache-spark"
API do Apache Spark Rest
Estou usando o comando spark-submit que tenho para que as propriedades do log4j invoquem um envio do Spark assim: /opt/spark-1.6.2-bin-hadoop2.6/bin/spark-submit \ --driver-java-options ...
Spark - java.lang.ClassCastException: não é possível atribuir a instância de java.lang.invoke.SerializedLambda ao campo org.apache.spark.api.java.JavaRDDLike
public class SparkDemo { @SuppressWarnings({ "resource" }) public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("Spark APP").setMaster("spark://xxx.xxx.xxx.xx:7077"); JavaSparkContext sc = ...
Existe uma interface melhor para adicionar suporte a Highcharts no Zeppelin
Apache Zeppelin [https://zeppelin.apache.org/]tem um bom suporte paraAngularJS [https://angularjs.org/]. Embora exista uma lacuna entre Scala e Javascript. Estou tentando adicionarHighcharts [http://www.highcharts.com/]apoio ao Zeppelin para ...
Salvar dataframe do Spark em arquivo único no local hdfs [duplicado]
Esta pergunta já tem uma resposta aqui: Como salvar dados RDD em arquivos json, não em pastas [/questions/40577546/how-to-save-rdd-data-into-json-files-not-folders] 2 respostasTenho o dataframe e quero salvar em um único arquivo no local ...
Propriedade spark.yarn.jars - como lidar com isso?
Meu conhecimento com o Spark é limitado e você perceberia isso depois de ler esta pergunta. Eu tenho apenas um nó e faísca, hadoop e fios estão instalados nele. Consegui codificar e executar o problema de contagem de palavras no modo de cluster ...
Como criar um gráfico simples de faísca usando java?
Basicamente, eu sou desenvolvedor Java e agora tive a chance de trabalhar no Spark e passei pelo básico da API do Spark, como o SparkConfig, SparkContaxt, RDD, SQLContaxt, DataFrame, DataSet e, em seguida, consegui realizar algumas transformações ...
chamada de distinta e mapa juntos joga NPE na biblioteca de faísca
Eu não tenho certeza se isso é um bug, então se você fizer algo assim
Alteração de propriedade anulável da coluna Spark Dataframe
Desejo alterar a propriedade anulável de uma coluna específica em um Spark Dataframe. Se eu imprimir o esquema do quadro de dados atualmente, ele será exibido abaixo.col1: string (nullable = false) col2: string (nullable = true) col3: string ...
PySpark: StructField (…,…, False) sempre retorna `nullable = true` em vez de` nullable = false`
Eu sou novo no PySpark e estou enfrentando um problema estranho. Estou tentando definir alguma coluna como não anulável ao carregar um conjunto de dados CSV. Posso reproduzir meu caso com um conjunto de dados muito pequeno ...
PySpark Como ler CSV no Dataframe e manipulá-lo
Eu sou muito novo no pyspark e estou tentando usá-lo para processar um grande conjunto de dados que é salvo como um arquivo csv. Gostaria de ler o arquivo CSV no spark dataframe, soltar algumas colunas e adicionar novas colunas. Como devo fazer ...