Resultados da pesquisa a pedido "scala"
Processar todas as colunas / a linha inteira em um Spark UDF
Para um dataframe que contenha uma combinação de tipos de dados string e numéricos, o objetivo é criar um novofeatures coluna que é umaminhash de todos eles. Embora isso possa ser feito executando umdataframe.toRDD é caro fazer isso quando o ...
spark - problema de espaço na pilha java - ExecutorLostFailure - container encerrado com status 143
Estou lendo a string com mais de 100k bytes e dividindo as colunas com base na largura. Eu tenho quase 16K colunas que eu divido acima da string com base na largura. mas enquanto escrevia em parquet, estou usando o código ...
Scala UDF retornando 'Esquema para o tipo Unidade não é suportado'
Quero fazer alterações em uma coluna no quadro de dados. A coluna é uma matriz para números inteiros. Eu quero substituir um elemento da matriz, pegando o índice de outra matriz e substituindo esse elemento por um elemento da terceira matriz. ...
scala: referência circular ao criar um objeto?
Acidentalmente, encontrei uma situação como esta (o exemplo é simplificado para isolar o problema): abstract class Element(val other: Element) case object First extends Element(Second) case object Second extends Element(First) object Main { ...
Erro de teste do SBT: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream
Exceção Getting Below, quando tentei realizar testes de unidade para o meu código de fluxo spark no Windows SBT usando o scalatest. sbt testOnly<<ClassName>> * * * * * * 2018-06-18 02:39:00 ERRO Executor: 91 - Exceção na tarefa 1.0 no estágio ...
Mapas Scala -> operador
O que faz o símbolo-> significa no contexto de umMap em Scala? ScalaPredef A classe oferece uma conversão implícita que permite escreverkey -> value como uma sintaxe alternativa para o par(key, value). Eu o li no ScalaByExample, mas não consigo ...
Como adicionar uma coluna aninhada a um DataFrame
Eu tenho um quadro de dadosdf com o seguinte esquema: root |-- city_name: string (nullable = true) |-- person: struct (nullable = true) | |-- age: long (nullable = true) | |-- name: string (nullable = true)O que eu quero fazer é adicionar uma ...
Manipulação de linha para Dataframe no spark [duplicado]
Esta pergunta já tem uma resposta aqui: Como mapear um Dataframe aninhado no Spark [/questions/36784735/how-to-flatmap-a-nested-dataframe-in-spark] 1 respostaEu tenho um dataframe no spark que é como: column_A | column_B --------- -------- 1 ...
Scala: Método que sobrecarrega sobre tipos genéricos
No C #, posso sobrecarregar métodos no tipo genérico, como mostra o exemplo abaixo: // http://ideone.com/QVooD using System; using System.Collections.Generic; public class Test { public static void Foo(List<int> ints) { Console.WriteLine("I just ...
Como obter diretórios de origem de todas as dependências do projeto de um projeto sbt?
Estou tentando implementar uma tarefa sbt que coleta todos os diretórios de origem dos projetos especificados usandodependsOn método de um projeto. Acabo com este pedaço de código: def sourcesOfDependencies(p: Project): ...