Resultados da pesquisa a pedido "scala"
O Spark divide um valor da coluna em várias linhas
Meu problema é que tenho uma tabela como esta: ------------------------ A B C ------------------------ a1 b2 c1|c2|c3|c4c1 | c2 | c3 | c4 é um valor separado por |. Meu resultado final deve ficar assim: --------- A B C --------- a1 b1 c1 a1 b1 ...
criar um dataframe spark a partir de um arquivo json aninhado no scala [duplicado]
Esta pergunta já tem uma resposta aqui: Como acessar subentidades no arquivo JSON? [/questions/44814926/how-to-access-sub-entities-in-json-file] 1 respostaEu tenho um arquivo json que se parece com isso { "group" : {}, "lang" : [ [ 1, "scala", ...
Spark: leia o arquivo apenas se o caminho existir
Estou tentando ler os arquivos presentes emSequence de caminhos em scala. Abaixo está o código de exemplo (pseudo): val paths = Seq[String] //Seq of paths val dataframe = spark.read.parquet(paths: _*)Agora, na sequência acima, existem alguns ...
Por que não i ++ no Scala?
Eu só me pergunto por que não hái++ para aumentar um número. Pelo que sei, linguagens como Ruby ou Python não suportam porque são tipadas dinamicamente. Então é óbvio que não podemos escrever código comoi++ porque talvezi é uma string ou outra ...
Gravar / armazenar dataframe no arquivo de texto
Estou tentando escreverdataframe paratext Arquivo. Se um arquivo contiver uma única coluna, eu posso escrever no arquivo de texto. Se o arquivo contiver várias colunas, então eu enfrento algum erro A fonte de dados de texto suporta apenas uma ...
A conversão implícita não é aplicada se um método tiver o parâmetro type
A questão é baseada na discussãoaqui [https://stackoverflow.com/questions/43381618/scala-why-foreach-with-a-single-argument-function-does-not-work-with-a-zipped-r/] . Esta é a configuração: implicit def CToC2(obj: C1): C2 = { new C2() } class ...
Preciso comparar dois quadros de dados para validação de tipo e enviar um valor diferente de zero como saída
Estou comparando dois quadros de dados (basicamente, esses são esquemas de duas fontes de dados diferentes, uma da seção e outra da SAS9.2) Preciso validar a estrutura para ambas as fontes de dados, então converti o esquema em dois quadros de ...
Spark Dataframe: Como adicionar um índice Coluna: Aka Distributed Data Index
Eu li dados de um arquivo csv, mas não tenho índice. Quero adicionar uma coluna de 1 ao número da linha. O que devo fazer, obrigado (scala)
Como codificar valores de seqüência de caracteres em valores numéricos no Spark DataFrame
Eu tenho um DataFrame com duas colunas: df = Col1 Col2 aaa bbb ccc aaaEu quero codificar valores String em valores numéricos. Eu consegui fazer isso desta maneira: import org.apache.spark.ml.feature.{OneHotEncoder, StringIndexer} val indexer1 ...
Os atores de Scala podem falhar ao processar mensagens? (exemplo em Programming Scala de O'Reilly)
Sou completamente novo no Scala e tenho trabalhado no meu caminhoScala de programação (O'Reilly) on-line; enquanto isso, fiquei surpreso com o resultado dashapes-actor-script.scala exemplo emCapítulo 1, "Um gosto de ...