Resultados da pesquisa a pedido "apache-spark"
Agregações de linha no Scala
Estou procurando uma maneira de obter uma nova coluna em um quadro de dados no Scala que calcula omin/max dos valores emcol1, col2, ...,col10 para cada linha. Eu sei que posso fazer isso com uma UDF, mas talvez haja uma maneira mais ...
SPARK SQL - caso quando então
Eu sou novo no SPARK-SQL. Existe um equivalente a "CASE WHEN 'CONDITION' THEN 0 ELSE 1 END" no SPARK SQL? select case when 1=1 then 1 else 0 end from table Obrigado Sridhar
Como instalo o pyspark para uso em scripts independentes?
Estou tentando usar o Spark com Python. Instalei a distribuição binária Spark 1.0.2 para Hadoop 2 a partir doTransferências [https://spark.apache.org/downloads.html]página. Posso percorrer os exemplos de início rápido no modo interativo Python, ...
Como usar o TwitterUtils no shell Spark?
Estou tentando usar o twitterUtils no Spark Shell (onde eles não estão disponíveis por padrão). Adicionei o seguinte ...
Como desativar o registro INFO no Spark?
Instalei o Spark usando o guia da AWS EC2 e posso iniciar o programa usando obin/pyspark script para chegar ao prompt do spark e também pode executar o Quick Start com êxito. No entanto, para a minha vida, não consigo descobrir como parar todos ...
Erro DEPENDENCIES NÃO RESOLVIDO ao tentar criar jar
Estou tentando criar um arquivo jar do Scala para executá-lo com faísca. Eu estou seguindo issotutorial [http://spark.apache.org/docs/latest/quick-start.html]. ao tentar construir o arquivo jar usando sbt ...
Gravando no HBase via Spark: Tarefa não serializável
Estou tentando escrever alguns dados simples no HBase (0.96.0-hadoop2) usando o Spark 1.0, mas continuo recebendo problemas de serialização. Aqui está o código relevante: import org.apache.hadoop.hbase.client._ ...
ElasticSearch para Spark RDD
Eu estava testando a integração do ElasticSearch e Spark na minha máquina local, usando alguns dados de teste carregados na elasticsearch. val sparkConf = new SparkConf().setAppName("Test").setMaster("local") val sc = new SparkContext(sparkConf) ...
Visualizar conteúdo RDD no Python Spark?
Executando um aplicativo simples no pyspark. f = sc.textFile("README.md") wc = f.flatMap(lambda x: x.split(' ')).map(lambda x: (x, 1)).reduceByKey(add)Quero exibir o conteúdo do RDD usando a ação foreach: wc.foreach(print)Isso gera um erro de ...
Como faço para logar no meu script Python Spark
Eu tenho um programa Python Spark com o qual eu corrospark-submit. Eu quero colocar instruções de log nele. logging.info("This is an informative message.") logging.debug("This is a debug message.")Desejo usar o mesmo criador de logs que o Spark ...