Resultados da pesquisa a pedido "scala"

2 a resposta

Como clonar um iterador?

Suponha que eu tenha um iterador: val it = List("a","b","c").iteratorEu quero uma cópia disso; meu código é: val it2 = it.toList.iteratorEstá correto, mas não parece bom. Existe alguma outra API para fazer isso?

1 a resposta

agregando com uma condição no groupby spark dataframe

Eu tenho um quadro de dados id lat long lag_lat lag_long detector lag_interval gpsdt lead_gpsdt 1 12 13 12 13 1 [1.5,3.5] 4 4.5 1 12 13 12 13 1 null 4.5 5 1 12 13 12 13 1 null 5 5.5 1 12 13 12 13 1 null 5.5 6 1 13 14 12 13 2 null 6 6.5 1 13 14 ...

4 a resposta

redByKey: Como funciona internamente?

Eu sou novo no Spark e Scala. Eu estava confuso sobre o modo como a função reduzirByKey funciona no Spark. Suponha que tenhamos o seguinte código: val lines = sc.textFile("data.txt") val pairs = lines.map(s => (s, 1)) val counts = ...

1 a resposta

Reflexão de Scala para instanciar scala.slick.lifted.TableQuery

Eu tenho essa característica básica trait MyBase { type M type T <: Table[M] val query: TableQuery[T] } OndeTableQuery éscala.slick.lifted.TableQuery Minhas subclasses instanciamTableQuery igual a: type M = Account type T = AccountsTable val ...

3 a resposta

Criar nova coluna com função no Spark Dataframe

Estou tentando descobrir a nova API de dataframe no Spark. parece um bom passo à frente, mas com problemas para fazer algo que deve ser bem simples. Eu tenho um quadro de dados com 2 colunas, "ID" e "Valor". Como um exemplo genérico, digamos que ...

2 a resposta

Slick 3.0 - Atualizar colunas em uma tabela e retornar todo o objeto da tabela?

Aqui está a implementação do Slick 2. Liso 2 - Atualize colunas em uma tabela e retorne o objeto inteiro da tabela [https://stackoverflow.com/questions/23561953/slick-2-update-columns-in-a-table-and-return-whole-table-object] Alguém tem idéias ...

2 a resposta

Diferença entre org.apache.spark.ml.classification e org.apache.spark.mllib.classification

Estou escrevendo um aplicativo spark e gostaria de usar algoritmos no MLlib. No documento da API, encontrei duas classes diferentes para o mesmo algoritmo. Por exemplo, há um LogisticRegression em org.apache.spark.ml.classification e também ...

3 a resposta

Método mais simples para lematização de texto no Scala e Spark

Eu quero usar a lematização em um arquivo de texto: surprise heard thump opened door small seedy man clasping package wrapped. upgrading system found review spring 2008 issue moody audio backed. omg left gotta wrap review order asap . understand ...

6 a resposta

Como verificar se uma String corresponde totalmente a um Regex no Scala?

Suponha que eu tenha um padrão Regex ao qual desejo corresponder muitas Strings. val Digit = """\d""".rEu só quero verificar se uma determinada String corresponde totalmente ao Regex. Qual é uma maneira boa e idiomática de fazer isso no ...

6 a resposta

Como dinamizar o DataFrame?

Estou começando a usar o Spark DataFrames e preciso poder dinamizar os dados para criar várias colunas de uma coluna com várias linhas. Existe funcionalidade embutida para isso no Scalding e acredito no Pandas em Python, mas não consigo encontrar ...