Resultados da pesquisa a pedido "apache-spark-sql"
Como faço para subir no HDFS com spark?
Eu particionei dados no HDFS. Em algum momento eu decido atualizá-lo. O algoritmo é: Leia os novos dados de um tópico kafk Descubra novos nomes de partição de dado Carregue os dados das partições com esses nomes que estão no HDFMerge os dados do ...
etecção eficiente de sufixos de stri
Estou trabalhando com o PySpark em um enorme conjunto de dados, no qual desejo filtrar o quadro de dados com base nas seqüências de caracteres em outro quadro de dados. Por exemplo dd ...
Como classificar o DataFrame com meu comparador usando o Scala?
Gostaria de classificar um DataFrame com base em uma coluna com meu próprio comparador. É possível fazer isso no Spark SQL? Por exemplo, suponha que eu tenha um DataFrame registrado como Tabela "MyTable" com uma coluna "Day" cujo tipo é ...