Resultados da pesquisa a pedido "scala"

3 a resposta

Diferença entre filtro e onde no scala spark sql

Eu tentei os dois, mas funciona da mesma forma exemplo val items = List(1, 2, 3)usando filtro employees.filter($"emp_id".isin(items:_*)).showusando onde employees.where($"emp_id".isin(items:_*)).showO resultado é o mesmo para os ...

8 a resposta

Como selecionar a primeira linha de cada grupo?

Eu tenho um DataFrame gerado da seguinte maneira: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc))Os resultados são parecidos com: +----+--------+----------+ |Hour|Category|TotalValue| ...

1 a resposta

Tarefa SBT sourceGenerators - executar apenas se um arquivo for alterado

No meu projeto SBT, tenho um arquivo de entradasrc/main/greeting/Greeting.txt com o seguinte conteúdo: Hello, world!Este é meubuild.sbt que gera a fonte Scala a partir doGreeting.txt Arquivo: sourceGenerators in Compile += Def.task{ ...

2 a resposta

Como definir uma função de agregação personalizada para somar uma coluna de vetores?

Eu tenho um DataFrame de duas colunas,ID do tipoInt eVec do tipoVector (org.apache.spark.mllib.linalg.Vector) O DataFrame é semelhante a seguir: ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1] 3,[0,0,1] 3,[7,7,7] ....Eu ...

1 a resposta

Como integrar o Spark ao projeto Scala no IntelliJ IDE?

Estou usando o IntelliJ IDE para jogar com Scala e Spark. Nesse IDE, criei um projeto Scala com um objeto Scala (veja a figura). [/imgs/rO0F8.jpg] Eu usei o código de regressão de amostra destelocal na rede ...

1 a resposta

Como passar uma variável de sessão de um objeto para outro em Gatling?

Estou extraindo variável de sessão no ObjectA e gostaria de passá-lo ao ObjectB, qual é a melhor maneira de conseguir isso? object ObjectA { val foo = exec(jsfPost("Request1", "/something.xhtml") .formParam("SUBMIT", "1") ...

2 a resposta

Scala - agrupando em um iterador ordenado preguiçosamente

eu tenho umIterator[Record] que é pedido emrecord.id deste jeito: record.id=1 record.id=1 ... record.id=1 record.id=2 record.id=2 .. record.id=2Os registros de um ID específico podem ocorrer várias vezes, por isso quero escrever uma função que ...

3 a resposta

Configure o sbt para não utilizar o diretório inicial do usuário

Na semana passada, tivemos as permissões do diretório de usuários alteradas em nossos servidores de IC e não temos mais acesso de gravação ao diretório inicial do usuário. Portanto, o sbt falha ao inicializar porque não pode gravar em~/.ivy etc ...

1 a resposta

Como filtrar por período no Spark SQL

Estou tentando filtrar o período dos seguintes dados usando blocos de dados, que retorna nulo como resposta. Meus dados csv se parecem com: ID, Desc, Week_Ending_Date 100, AAA, 13-06-2015 101, BBB, 11-07-2015 102, CCC, 15-08-2015 103, DDD, ...

1 a resposta

LabelledGeneric para obter o nome da classe

Eu sou relativamente novo em Shapeless, como se deduzirá da minha pergunta. Dada uma instância deLabelledGeneric, como obtenho o nome da classe que ela representa. Posso obter as informações do nome do campo emKeys, então suponho que preciso de ...