Resultados da pesquisa a pedido "scala"
Dataframe do Spark: Pivot e Grupo com base em colunas
Eu tenho o quadro de dados de entrada abaixo, com ID, aplicativo e cliente Dataframe de entrada +--------------------+-----+---------+ | id|app |customer | +--------------------+-----+---------+ |id1 | fw| WM | |id1 | fw| CS | |id2 | fw| CS | ...
Como obter os valores no DataFrame com o DataType correto?
Quando tentei obter alguns valores em umDataFrame, gostar: df.select("date").head().get(0) // type: AnyO tipo de resultado éAny, o que não é esperado. Desde umdataframe contém oschema dos dados, deve conhecer aDataType para cadacolumn, então, ...
Spark Scala Dividir o quadro de dados em igual número de linhas
Eu tenho um Dataframe e desejo dividi-lo em um número igual de linhas. Em outras palavras, quero uma lista de quadros de dados em que cada um seja um subconjunto separado do quadro de dados original. Digamos que o quadro de dados de entrada ...
Como particionar (igualmente) dados do array no spark dataframe
Eu tenho um quadro de dados do seguinte formulário: import scala.util.Random val localData = (1 to 100).map(i => (i,Seq.fill(Math.abs(Random.nextGaussian()*100).toInt)(Random.nextDouble))) val df = sc.parallelize(localData).toDF("id","data") |-- ...
Qual é o Scala equivalente a um padrão do construtor Java?
No trabalho que faço no dia a dia em Java, uso bastante os construtores para interfaces fluentes, por exemplo:new PizzaBuilder(Size.Large).onTopOf(Base.Cheesy).with(Ingredient.Ham).build(); Com uma abordagem Java rápida e suja, cada chamada de ...
Função Scala List para agrupar elementos idênticos consecutivos
Dado, por exemplo: List(5, 2, 3, 3, 3, 5, 5, 3, 3, 2, 2, 2)Eu gostaria de chegar a: List(List(5), List(2), List(3, 3, 3), List(5, 5), List(3, 3), List(2, 2, 2))Eu diria que existe uma função de lista simples que faz isso, mas não ...
Calcule mediana de até 5 em Scala
Então, enquanto respondia a alguma outra pergunta, me deparei com a necessidade de calcular a mediana de 5. Agora, há umapergunta semelhante [https://stackoverflow.com/questions/480960/code-to-calculate-median-of-five-in-c] em outro idioma, mas ...
Uma maneira fácil de se livrar de * tudo * gerado pelo SBT?
Existe uma maneira fácil de se livrar de tudo que é gerado como resultado da execução de uma compilação do SBT? Acontece que ele cria diretórios de destino em todo o lugar. Realizando sbt clean clean-cache clean-lib clean-plugins... não se livra ...
Spark / scala cria um conjunto de dados vazio usando genéricos em uma característica
Eu tenho uma característica chamada que usa um parâmetro de tipo e um de seus métodos precisa ser capaz de criar um conjunto de dados digitado vazio. trait MyTrait[T] { val sparkSession: SparkSession val spark = sparkSession.session val ...
Por que o despacho lança exceções “java.net.ConnectException: SSLEngine Geral…” e “status inesperado” para um URL específico?
Eu tenho o seguinte código não ativo: object Main extends App { import dispatch._ def test(address: String) = { Await.result(Http.default(url(address).GET OK as.String), Duration.Inf) } // This works fine val s1 ...