Resultados da pesquisa a pedido "scala"
Como clonar um iterador?
Suponha que eu tenha um iterador: val it = List("a","b","c").iteratorEu quero uma cópia disso; meu código é: val it2 = it.toList.iteratorEstá correto, mas não parece bom. Existe alguma outra API para fazer isso?
agregando com uma condição no groupby spark dataframe
Eu tenho um quadro de dados id lat long lag_lat lag_long detector lag_interval gpsdt lead_gpsdt 1 12 13 12 13 1 [1.5,3.5] 4 4.5 1 12 13 12 13 1 null 4.5 5 1 12 13 12 13 1 null 5 5.5 1 12 13 12 13 1 null 5.5 6 1 13 14 12 13 2 null 6 6.5 1 13 14 ...
redByKey: Como funciona internamente?
Eu sou novo no Spark e Scala. Eu estava confuso sobre o modo como a função reduzirByKey funciona no Spark. Suponha que tenhamos o seguinte código: val lines = sc.textFile("data.txt") val pairs = lines.map(s => (s, 1)) val counts = ...
Reflexão de Scala para instanciar scala.slick.lifted.TableQuery
Eu tenho essa característica básica trait MyBase { type M type T <: Table[M] val query: TableQuery[T] } OndeTableQuery éscala.slick.lifted.TableQuery Minhas subclasses instanciamTableQuery igual a: type M = Account type T = AccountsTable val ...
Criar nova coluna com função no Spark Dataframe
Estou tentando descobrir a nova API de dataframe no Spark. parece um bom passo à frente, mas com problemas para fazer algo que deve ser bem simples. Eu tenho um quadro de dados com 2 colunas, "ID" e "Valor". Como um exemplo genérico, digamos que ...
Slick 3.0 - Atualizar colunas em uma tabela e retornar todo o objeto da tabela?
Aqui está a implementação do Slick 2. Liso 2 - Atualize colunas em uma tabela e retorne o objeto inteiro da tabela [https://stackoverflow.com/questions/23561953/slick-2-update-columns-in-a-table-and-return-whole-table-object] Alguém tem idéias ...
Diferença entre org.apache.spark.ml.classification e org.apache.spark.mllib.classification
Estou escrevendo um aplicativo spark e gostaria de usar algoritmos no MLlib. No documento da API, encontrei duas classes diferentes para o mesmo algoritmo. Por exemplo, há um LogisticRegression em org.apache.spark.ml.classification e também ...
Método mais simples para lematização de texto no Scala e Spark
Eu quero usar a lematização em um arquivo de texto: surprise heard thump opened door small seedy man clasping package wrapped. upgrading system found review spring 2008 issue moody audio backed. omg left gotta wrap review order asap . understand ...
Como verificar se uma String corresponde totalmente a um Regex no Scala?
Suponha que eu tenha um padrão Regex ao qual desejo corresponder muitas Strings. val Digit = """\d""".rEu só quero verificar se uma determinada String corresponde totalmente ao Regex. Qual é uma maneira boa e idiomática de fazer isso no ...
Como dinamizar o DataFrame?
Estou começando a usar o Spark DataFrames e preciso poder dinamizar os dados para criar várias colunas de uma coluna com várias linhas. Existe funcionalidade embutida para isso no Scalding e acredito no Pandas em Python, mas não consigo encontrar ...