Resultados da pesquisa a pedido "apache-spark"
Spark extraindo valores de uma linha
Eu tenho o seguinte quadro de dados val transactions_with_counts = sqlContext.sql( """SELECT user_id AS user_id, category_id AS category_id, COUNT(category_id) FROM transactions GROUP BY user_id, category_id""")Estou tentando converter as linhas ...
Como expressar uma coluna cujo nome contém espaços no Spark SQL
Tentamos agrupar o nome da coluna entre colchetes[column name], aspas simples e duplas e reticulares, nenhuma delas funciona. O Spark SQL suporta colunas cujo nome contém espaços? Obrigado!
Adicione uma coluna vazia ao Spark DataFrame
Como mencionado emmuitos [https://stackoverflow.com/questions/29483498/append-a-column-to-data-frame-in-apache-spark-1-3] outros locais [http://apache-spark-user-list.1001560.n3.nabble.com/Append-column-to-Data-Frame-or-RDD-td22385.html] na ...
Particionar RDD em tuplas de comprimento n
Eu sou relativamente novo no Apache Spark e Python e queria saber se algo como o que vou descrever é factível? Eu tenho um RDD do formato [m1m2m3m4m5m6....... mn$8Eu tenho um RDD do formato [m9m10m11m12m13m14$n-2mn-1mn)]. As tuplas internas ...
getExecutorMemoryStatus (). size () não produzindo o número correto de executores
Em resumo, Preciso do número de executores / trabalhadores no cluster Spark, mas usandosc._jsc.sc().getExecutorMemoryStatus().size() me dá 1 quando na verdade existem 12 executores. Com mais detalhes, Estou tentando determinar o número de ...
Chaves primárias com Apache Spark
Estou tendo uma conexão JDBC com o Apache Spark e o PostgreSQL e quero inserir alguns dados no meu banco de dados. Quando eu usoappend modo eu preciso especificarid para cadaDataFrame.Row. Existe alguma maneira do Spark criar chaves primárias?
Spark - matriz de correlação do arquivo de classificações
Sou bem novo no Scala e no Spark e não consigo criar uma matriz de correlação a partir de um arquivo de classificações. É semelhante aessa ...
Spark DataFrame entregando String vazia no OneHotEncoder
Estou importando um arquivo CSV (usando spark-csv) para umDataFrame que está vazioString valores. Quando aplicado, oOneHotEncoder, o aplicativo trava com errorequirement failed: Cannot have an empty string for name.. Existe uma maneira de ...
Spark usando PySpark ler imagens
Olá, tenho muitas imagens (milhões inferiores) nas quais preciso fazer a classificação. Estou usando o Spark e consegui ler todas as imagens no formato de(filename1, content1), (filename2, content2) ... em um grande RDD. images = ...
biblioteca de erros de compilação spark sbt
1.2.0-bin-hadoop2.4 e minha versão do Scala é2.11.7. Estou recebendo um erro, então não posso usar o sbt. ~/sparksample$ sbtStarting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build ...