Resultados da pesquisa a pedido "hive"
Porco vs Hive vs Mapa Nativo Reduce
Eu tenho uma compreensão básica sobre o que são abstrações de Pig, Hive. Mas não tenho uma ideia clara sobre os cenários que exigem que o Hive, Pig ou o mapa...
Como faço para saída dos resultados de uma consulta HiveQL para CSV?
Gostaríamos de colocar os resultados de uma consulta Hive em um arquivo CSV. Eu pensei que o comando deveria ser assim:
Use mais de um collect_list em uma consulta no Spark SQL
Eu tenho o seguinte quadro de dadosdata: root |-- userId: string |-- product: string |-- rating: doublee a seguinte consulta: val result = sqlContext.sql("select userId, collect_list(product), collect_list(rating) from data group by ...
HiveQL e classificação ()
Não consigo entender a classificação do HiveQL (). Eu encontrei algumas implementações de rank UDF's na WWW, comoBom exemplo de Edward. Eu posso carregar...
Extrair partição de tabela de seção no Spark - java
Existe alguma maneira no Spark extrair apenas os nomes das colunas da partição? A solução alternativa que estou usando é executar "show extended table like table_name"usandoHiveContext
Como registrar carimbos de data e hora created_at e updated_at no Hive?
O MySQL pode registrar automaticamente os carimbos de data e hora created_at e updated_at. [https://stackoverflow.com/q/267658/499125]O Hive fornece mecanismos semelhantes? Caso contrário, qual seria a melhor maneira de obter essa funcionalidade?
Como implementar o incremento automático no spark SQL (PySpark)
Eu preciso implementar uma coluna de incremento automático na minha tabela sql spark, como eu poderia fazer isso. Por favor, me guie. eu estou usando o pyspark 2.0 Obrigado Kalyan
Colmeia e expressão regular
Eu estou tentando filtrar todos os endereços IP em um nome de usuário. Mas isso realmente não funciona corretamente na minha consulta: select distinct regexp_extract(username, '^([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3})\.([0-9]{1,3})$', 0) from ...
Como criar o SparkSession com suporte ao Hive (falha com "As classes do Hive não foram encontradas")?
Estou recebendo esse erro ao tentar executar esse código. import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSession; public class App { public static void main(String[] args) throws Exception ...