Resultados da pesquisa a pedido "spark-cassandra-connector"
Spark 1.5.1, Cassandra Connector 1.5.0-M2, Cassandra 2.1, Scala 2.10, dependência de goiaba NoSuchMethodError
Novo no ambiente Spark (e relativamente novo no Maven), estou com dificuldades em enviar as dependências necessárias corretamente. Parece que o Spark 1.5.1 tem uma dependência de goiaba-14.0.1 que ele tenta usar e o isPrimitive foi adicionado em ...
Passe columnNames dinamicamente para cassandraTable (). Select ()
Estou lendo a consulta de um arquivo em tempo de execução e executando-a no ambiente SPark + Cassandra. Estou executando: sparkContext.cassandraTable.("keyspaceName", "colFamilyName").select("col1", "col2", "col3").where("some condition = ...
Não foi possível gerar UUIDs no Spark SQL
abaixo está o bloco de código e o erro recebido > creating a temporary views sqlcontext.sql("""CREATE TEMPORARY VIEW temp_pay_txn_stage USING org.apache.spark.sql.cassandra OPTIONS ( table "t_pay_txn_stage", keyspace "ks_pay", cluster "Test ...
Como resolver o problema de dependência do Guava ao enviar o Uber Jar para o Google Dataproc
Estou usando o plugin maven shade para criar o jar do Uber para enviá-lo como um trabalho para o cluster do google dataproc. O Google instalou o Apache Spark 2.0.2 Apache Hadoop 2.7.3 em seu cluster. O Apache spark 2.0.2 usa 14.0.1 do ...
dependência não resolvida sbt para spark-cassandra-connector 2.0.2
build.sbt: val sparkVersion = "2.1.1"; libraryDependencies += "org.apache.spark" %% "spark-core" % sparkVersion % "provided"; libraryDependencies += "org.apache.spark" %% "spark-sql" % sparkVersion % "provided"; libraryDependencies += ...
Apache Spark leva de 5 a 6 minutos para contagem simples de 1 bilhão de linhas de Cassandra
Estou usando o conector Spark Cassandra. Demora de 5 a 6 minutos para buscar dados da tabela Cassandra. No Spark, eu já vi muitas tarefas e Executor no log. O motivo pode ser que o Spark tenha dividido o processo em muitas tarefas! Abaixo está o ...
Lendo de Cassandra usando Spark Streaming
Tenho um problema quando uso o spark streaming para ler a partir de ...
Driver Cassandra Datatax lançando CodecNotFoundException
A exceção exata é a seguinte com.datastax.driver.core.exceptions.CodecNotFoundException: codec não encontrado para a operação solicitada: [varchar <-> java.math.BigDecimal] Estas são as versões do software que estou usando Spark 1.5 ...
usando a instrução preparada várias vezes, avisando Cassandra Querying Reducing Performance
Estou obtendo dados de algum lugar e inserindo-os nocassandra diariamente, então eu preciso recuperar os dados decassandra durante toda a semana e faça algum processamento e insira o resultado novamentecassandra. Eu tenho muitos registros, cada ...
Por que o Apache Spark está executando os filtros no cliente
Sendo novato no apache spark, enfrentando algum problema ao buscar dados do Cassandra no Spark. List<String> dates = Arrays.asList("2015-01-21","2015-01-22"); CassandraJavaRDD<A> aRDD = ...
Página 1 do 2