Resultados da pesquisa a pedido "apache-spark-sql"
No pyspark, como você adiciona / concata uma string a uma coluna?
Eu gostaria de adicionar uma string a uma coluna existente. Por exemplo,df['col1'] tem valores como'1', '2', '3' etc e eu gostaria de concat string'000' na esquerda decol1 para que eu possa obter uma coluna (nova ou substituir a antiga não ...
SparkSQL MissingRequirementError ao registrar a tabela
Sou novato no Scala e Apache Spark e estou tentando usar o Spark SQL. Após a clonagem dorepo [https://github.com/apache/spark]Comecei o spark shell digitandobin/spark-shell e execute o seguinte: val sqlContext = new ...
A CLI Spark-sql usa apenas 1 executor ao executar a consulta
Vou usar o spark-sql cli para substituir o shell do hive cli e execute o spark-sql cli seguindo o comando (Estamos usando no cluster do Hadoop de fios, o hive-site.xml já copiado para / conf) .> spark-sql Então o shell é aberto e funciona ok, E ...
Como criar uma linha de uma lista ou matriz no Spark usando o Scala
Estou tentando criar uma linha (org.apache.spark.sql.catalyst.expressions.Row) com base na entrada do usuário. Não consigo criar uma linha aleatoriamente. Existe alguma funcionalidade para criar uma linha deList ouArray. Por exemplo, se eu ...
Como converter Row de um Scala DataFrame em classe de caso com mais eficiência?
Depois de ter entrado no Spark alguma classe Row, Dataframe ou Catalyst, desejo convertê-lo em uma classe case no meu código. Isso pode ser feito combinando someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}Mas fica feio ...
Consultando Spark SQL DataFrame com tipos complexos
Como posso consultar um RDD com tipos complexos, como mapas / matrizes? por exemplo, quando eu estava escrevendo este código de teste: case class Test(name: String, map: Map[String, String]) val map = Map("hello" -> "world", "hey" -> "there") ...
Inserindo dados analíticos do Spark no Postgres
Eu tenho o banco de dados Cassandra a partir do qual analisei os dados usando o SparkSQL através do Apache Spark. Agora eu quero inserir os dados analisados no PostgreSQL. Existe alguma maneira de conseguir isso diretamente, além do uso do driver ...
Por que o aplicativo spark falha com "executor.CoarseGrainedExecutorBackend: Driver Disassociated"?
Quando executo a consulta sql via spark-submit e spark-sql, o aplicativo spark correspondente sempre falha com o seguinte erro: 15/03/10 18:50:52 INFO util.AkkaUtils: Connecting to ...
Atualizando uma coluna de quadro de dados no spark
Observando a nova API do spark dataframe, não está claro se é possível modificar as colunas do dataframe. Como eu alteraria um valor na linhax colunay de um quadro de dados? Nopandas este seriadf.ix[x,y] = new_value Edit: consolidando o que ...
Como alterar os tipos de coluna no DataFrame do Spark SQL?
Suponha que eu esteja fazendo algo como: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: ...