Resultados da pesquisa a pedido "scala"
Como escrever um fluxo estruturado do ElasticsearchSink for Spark
Estou usando o fluxo estruturado do Spark para processar dados de alto volume da fila Kafka e fazendo alguns cálculos de ML, mas preciso escrever o resultado no Elasticsearch. Eu tentei usar oForeachWriter mas não consegueSparkContext dentro ...
Como posso fazer 'if..se' dentro de uma compreensão?
Estou fazendo uma pergunta muito básica que me confundiu recentemente. Quero escrever uma expressão Scala For para fazer algo como o seguinte: for (i <- expr1) { if (i.method) { for (j <- i) { if (j.method) { doSomething() } else { ...
Scala substitui o Arrays.binarySearch?
Existe um substituto no Scala para Javaint Arrays.binarySearch(Object[] array, object)? O problema é que as matrizes de Scala não são covariantes, então eu teria que lançar minhasstringArray: Array[String] assim ...
Existe uma maneira de executar uma consulta de cadeia XPath usando a biblioteca XML do Scala?
Dado um objeto XML do scala, posso executar uma consulta de string xpath como "// entradas [@ title = 'scala']"? Idealmente, seria como: <a><b name='n1'></b></a>.xpath("//b[@name='n1']") Não consigo converter manualmente todas as consultas ...
junte dinamicamente dois quadros de dados spark-scala em várias colunas sem condições de junção codificadas
Eu gostaria de juntar dois quadros de dados spark-scala em várias colunas dinamicamente. Eu evitaria a comparação do nome da coluna de codificação codificada, conforme mostrado nas declarações a seguir; val joinRes = df1.join(df2, df1("col1") == ...
Sintaxe sugar: _ * para tratar Seq como parâmetros de método
Acabei de perceber essa construção em algum lugar na web: val list = List(someCollection: _*)O que_* significar? Isso é um açúcar de sintaxe para alguma chamada de método? Quais restrições minha classe personalizada deve atender para tirar ...
Leia dados do Cassandra para processamento no Flink
Eu tenho que processar fluxos de dados do Kafka usando o Flink como o mecanismo de streaming. Para fazer a análise dos dados, preciso consultar algumas tabelas no Cassandra. Qual é a melhor maneira de fazer isso? Eu tenho procurado exemplos em ...
Esquema para o tipo Qualquer não é suportado
Estou tentando criar um UDF spark para extrair um mapa de pares (chave, valor) de uma classe de caso definida pelo usuário. A função scala parece funcionar bem, mas quando tento convertê-la em uma UDF no spark2.0, estou executando o erro ...
Incrementando o loop for (variável de loop) em scala por potência de 5
Eu fiz essa pergunta emJavaranch [http://www.coderanch.com/t/517192/Scala/Incrementing-loop-loop-variable-scala], mas não conseguiu resposta lá. Então, postando aqui também: Eu tenho esse requisito específico em que o incremento na variável de ...
Resolvendo problemas de dependência no Apache Spark
Os problemas comuns ao criar e implantar aplicativos Spark são: java.lang.ClassNotFoundException.object x is not a member of package y erros de compilação.java.lang.NoSuchMethodErrorComo estes podem ser resolvidos?