Resultados da pesquisa a pedido "scala"
Comparar modelos para identidade, mas com variáveis? Construir com menos?
Minha equipe está implementando uma variação deRastreamento de Referentes do Ceusters [http://www.referent-tracking.com]. Em nossa implementação, o URI original de uma entidade pode ser alterado (para algo que contenha um UUID), embora um link ...
Adicionar coluna Número de dias à coluna Data no mesmo quadro de dados para o aplicativo Spark Scala
eu tenho umdataframe df decolumns ("id", "current_date", "days") e estou tentando adicionar o "days" para "current_date"e crie um novodataframe com novocolumn chamado "new_date"usando a função spark scaladate_add() val newDF = ...
Erro ao explodir uma coluna struct no Spark
Eu tenho um quadro de dados cujo esquema se parece com isso: event: struct (nullable = true) | | event_category: string (nullable = true) | | event_name: string (nullable = true) | | properties: struct (nullable = true) | | | ErrorCode: string ...
NullPointerException após extrair uma tabela Teradata com Scala / Spark
Preciso extrair uma tabela do Teradata (acesso somente leitura) para parquet com o Scala (2.11) / Spark (2.1.0). Estou construindo um quadro de dados que posso carregar com sucesso val df = ...
O Spark Strutured Streaming converte automaticamente o carimbo de data / hora para a hora local
Eu tenho meu carimbo de data e hora no UTC e ISO8601, mas usando o Streaming estruturado, ele é convertido automaticamente no horário local. Existe uma maneira de parar essa conversão? Eu gostaria de tê-lo no UTC. Estou lendo dados json do Kafka ...
Scala: Por que não podemos fazer o super.val?
Estou praticando esse código do JavaTpoint para aprender herança no Scala. Mas não consigo acessar o membro Bike da classe Vehicle cujo valor é inicializado em zero. Eu tentei por referência de tipo super, mas ele ainda mostra o ...
Uso de def, val e var em scala
class Person(val name:String,var age:Int ) def person = new Person("Kumar",12) person.age = 20 println(person.age)Essas linhas de saídas de código12, Apesar deperson.age=20 foi executado com sucesso. Eu descobri que isso acontece porque eu usei ...
Quando devo (e não devo) usar a anotação @inline do Scala?
Eu acredito que entendo o básico das funções embutidas: em vez de uma chamada de função resultando em parâmetros sendo colocados na pilha e em uma operação de chamada, a definição da função é copiada no tempo de compilação para o local em que a ...
Spark Scala: Erro de tarefa não serializável
Estou usando o IntelliJ Community Edition com o Scala Plugin e as bibliotecas spark. Ainda estou aprendendo o Spark e usando a Planilha do Scala. Eu escrevi o código abaixo que remove os sinais de pontuação em uma String: def ...
Como usar o DataFrame withColumn e não alterar a partição?
Por alguma razão eu tenho que converterRDD paraDataFrame, então faça algo comDataFrame. Minha interface éRDDentão eu tenho que converterDataFrame paraRDD， E quando eu usodf.withcolumn, a partição muda para 1, então eu tenho querepartition ...