Resultados da pesquisa a pedido "scala"
Valor InheritableThreadLocal não herdado pelos threads ExecutorService
import java.util.concurrent.Executors import scala.concurrent.{ExecutionContext, Future} object TestInheritableThreadLocal { def main(args: Array[String]): Unit = { implicit val ec = ExecutionContext.fromExecutor(Executors.newFixedThreadPool(2)) ...
Por que as funções scala são limitadas a 22 parâmetros?
Não que eu tenha chegado perto desse limite, mas sempre me perguntei: por que eles param noFunction22/Tuple22. Restrição de JVM? Escolha arbitrária?
Por que o aplicativo Spark falha com "ClassNotFoundException: falha ao localizar a fonte de dados: kafka" como uber-jar com assembly sbt?
Estou tentando executar uma amostra ...
O UUID aleatório do Spark Dataframe é alterado após cada transformação / ação
Eu tenho um quadro de dados Spark com uma coluna que inclui um UUID gerado. No entanto, sempre que eu faço uma ação ou transformação no quadro de dados, ele altera o UUID em cada estágio. Como faço para gerar o UUID apenas uma vez e manter o ...
guia para passar do filtro para withFilter? [fechadas]
Existe um guia detalhado para passar de filter () para withFilter ()? Agora, recebo avisos sobre o uso de implementações filter (), mas não consigo encontrar um guia fácil para mudar para withFilter () ...
Preenchendo lacunas nas séries temporais Spark
Tenho um problema ao lidar com dados de séries temporais. Devido a falhas de energia, alguns carimbos de data e hora estão ausentes no conjunto de dados. Preciso preencher essas lacunas adicionando linhas e, depois disso, posso interpolar os ...
Por que o uso do cache nos conjuntos de dados de streaming falha com "AnalysisException: as consultas com fontes de streaming devem ser executadas com writeStream.start ()"?
SparkSession .builder .master("local[*]") .config("spark.sql.warehouse.dir", "C:/tmp/spark") .config("spark.sql.streaming.checkpointLocation", "C:/tmp/spark/spark-checkpoint") .appName("my-test") .getOrCreate .readStream .schema(schema) ...
Que tipo de retorno um método Scala deve ter se pode gerar / retornar erros, mas possui o tipo de retorno Unit?
Geralmente, quando executamos um método que pode falhar e retornar um valor, podemos codificar nosso tipo de retorno do método comoEither[SomeErrorType, ReturnType]. Mas muitas vezes estamos executando um método para seus efeitos colaterais, ...
Diferença entre === null e isNull no Spark DataDrame
Estou um pouco confuso com a diferença quando estamos usando df.filter(col("c1") === null) and df.filter(col("c1").isNull)Mesmo dataframe que estou recebendo contagens === null mas zero conta em isNull. Por favor, ajude-me a entender a ...
Como excluir jar no plugin de montagem final sbt
Preciso excluir as dependências de faísca e teste do meu frasco de montagem final. Eu tentei usarprovider mas não estava funcionando. libraryDependencies ++= Seq("org.apache.spark" % "spark-core_2.11" % "2.0.1" % "provided")e executarsbt ...