Resultados da pesquisa a pedido "apache-spark"

3 a resposta

Spark extraindo valores de uma linha

Eu tenho o seguinte quadro de dados val transactions_with_counts = sqlContext.sql( """SELECT user_id AS user_id, category_id AS category_id, COUNT(category_id) FROM transactions GROUP BY user_id, category_id""")Estou tentando converter as linhas ...

2 a resposta

Como expressar uma coluna cujo nome contém espaços no Spark SQL

Tentamos agrupar o nome da coluna entre colchetes[column name], aspas simples e duplas e reticulares, nenhuma delas funciona. O Spark SQL suporta colunas cujo nome contém espaços? Obrigado!

2 a resposta

Adicione uma coluna vazia ao Spark DataFrame

Como mencionado emmuitos [https://stackoverflow.com/questions/29483498/append-a-column-to-data-frame-in-apache-spark-1-3] outros locais [http://apache-spark-user-list.1001560.n3.nabble.com/Append-column-to-Data-Frame-or-RDD-td22385.html] na ...

3 a resposta

Particionar RDD em tuplas de comprimento n

Eu sou relativamente novo no Apache Spark e Python e queria saber se algo como o que vou descrever é factível? Eu tenho um RDD do formato [m1m2m3m4m5m6....... mn$8Eu tenho um RDD do formato [m9m10m11m12m13m14$n-2mn-1mn)]. As tuplas internas ...

1 a resposta

getExecutorMemoryStatus (). size () não produzindo o número correto de executores

Em resumo, Preciso do número de executores / trabalhadores no cluster Spark, mas usandosc._jsc.sc().getExecutorMemoryStatus().size() me dá 1 quando na verdade existem 12 executores. Com mais detalhes, Estou tentando determinar o número de ...

3 a resposta

Chaves primárias com Apache Spark

Estou tendo uma conexão JDBC com o Apache Spark e o PostgreSQL e quero inserir alguns dados no meu banco de dados. Quando eu usoappend modo eu preciso especificarid para cadaDataFrame.Row. Existe alguma maneira do Spark criar chaves primárias?

1 a resposta

Spark - matriz de correlação do arquivo de classificações

Sou bem novo no Scala e no Spark e não consigo criar uma matriz de correlação a partir de um arquivo de classificações. É semelhante aessa ...

3 a resposta

Spark DataFrame entregando String vazia no OneHotEncoder

Estou importando um arquivo CSV (usando spark-csv) para umDataFrame que está vazioString valores. Quando aplicado, oOneHotEncoder, o aplicativo trava com errorequirement failed: Cannot have an empty string for name.. Existe uma maneira de ...

2 a resposta

Spark usando PySpark ler imagens

Olá, tenho muitas imagens (milhões inferiores) nas quais preciso fazer a classificação. Estou usando o Spark e consegui ler todas as imagens no formato de(filename1, content1), (filename2, content2) ... em um grande RDD. images = ...

3 a resposta

biblioteca de erros de compilação spark sbt

1.2.0-bin-hadoop2.4 e minha versão do Scala é2.11.7. Estou recebendo um erro, então não posso usar o sbt. ~/sparksample$ sbtStarting sbt: invoke with -help for other options [info] Set current project to Spark Sample (in build ...