Resultados da pesquisa a pedido "scala"
O que o padrão Aux realiza no Scala?
Eu tenho uma noção do padrão Aux (como usado em informe e em outro lugar) no qual um membro de tipo é extraído em um parâmetro de tipo, e eu sei que é uma solução alternativa o fato de que argumentos na mesma lista de argumentos não podem ...
Apache Spark Manipulando Dados Inclinados
Eu tenho duas mesas que eu gostaria de juntar. Um deles tem uma inclinação muito ruim de dados. Isso está fazendo com que o meu trabalho spark não seja executado em paralelo, pois a maioria do trabalho é feita em uma partição. Ouvi e li e tentei ...
Spark Scala: Como converter Dataframe [vetor] para DataFrame [f1: Duplo,…, fn: Duplo)]
Acabei de usar o Standard Scaler para normalizar meus recursos para um aplicativo ML. Depois de selecionar os recursos dimensionados, desejo convertê-lo novamente em um quadro de dados de Doubles, embora o comprimento dos meus vetores seja ...
Como contar ocorrências de cada valor distinto para cada coluna em um dataframe?
edf.select("x").distinct.show() mostra os valores distintos que estão presentes nox coluna deedf Quadro de dados. Existe um método eficiente para mostrar também o número de vezes que esses valores distintos ocorrem no quadro de dados? (conte ...
gradle-android-scala-plugin fornece o erro "Não foi possível encontrar o construtor correspondente"
Importandoesta [https://github.com/saturday06/gradle-android-scala-plugin/tree/master/sample/hello] O código de exemplo no Android Studio fornece este erro: Erro: (17, 0) Não foi possível encontrar o construtor correspondente ...
Como registrar byte [] [] usando serialização kryo para spark
Estou tentando utilizar totalmente a serialização kryo para faísca. Configuração .set("spark.kryo.registrationRequired", "true")Isso informará quais classes precisam ser registradas. Eu registrei cerca de 40 aulas, algumas das minhas e de Spark. ...
como converter json string para dataframe no spark
Eu quero converter variável de string abaixo para dataframe no spark. val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"Eu sei como criar dataframe a partir do arquivo json. sqlContext.read.json("file.json")mas não sei como criar ...
A versão de Jackson é muito antiga
Eu tenho o seguintebuild.sbt Arquivo: name := "myProject" version := "1.0" scalaVersion := "2.11.8" javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled") dependencyOverrides ++= ...
Como especificar o tamanho máximo de heap da JVM "-Xmx" para executar um aplicativo com a ação "run" no SBT?
Meu aplicativo processa grandes matrizes de dados e precisa de mais memória do que a JVM fornece por padrão. Eu sei que em Java é especificado pela opção "-Xmx". Como configurar o SBT para usar o valor "-Xmx" específico para executar um ...
Não é possível importar o sqlContext.implicits._ sem um erro pelo Jupyter
Quando tento usar oimport sqlContext.implicits._ no meu notebook Jupyter, recebo o seguinte erro: Name: Compile Error Message: <console>:25: error: stable identifier required, but $iwC.this.$VAL10.sqlContext.implicits found. import ...