Resultados da pesquisa a pedido "azure-data-lake"
Como particiono um arquivo grande em arquivos / diretórios usando apenas U-SQL e certos campos no arquivo?
Eu tenho um CSV extremamente grande, em que cada linha contém IDs de cliente e loja, além de informações de transação. O arquivo de teste atual é de cerca de 40 GB (aproximadamente 2 dias), portanto, o particionamento é uma necessidade absoluta ...
Azure Data Lake Analytics: combine duração de tempo sobreposto usando U-SQL
Desejo remover a duração do tempo de sobreposição dos dados CSV colocados no Azure Data Lake Store usando U-SQL e combinar essas linhas. O conjunto de dados contém a hora de início e a hora de término com vários outros atributos para cada ...
Instalar as extensões U-SQL do Azure para executar scripts R / Python localmente?
Podemos estender scripts U-SQL com código R / Python no Azure Data Lake Analytics, mas como podemos fazer isso localmente?
Leitura do arquivo de repositório do Azure Data Lake usando o componente de script SSIS
Aprecie suas sugestões. Meu requisito é Ler o arquivo json do ADLS usando o SSIS e carregar na tabela SQL Implementação: implementei o código para ler o conteúdo do arquivo json no aplicativo .Net Console. Isso está funcionando bem no aplicativo ...
Como escolher entre a análise do data lake do Azure e os Databricks do Azure
A análise do data lake do Azure e os bancos de dados do azure podem ser usados para processamento em lote. Alguém poderia me ajudar a entender quando escolher um sobre o outro?
U-SQL - Extrai dados do json-array
Já tentei a opção JSONPath sugerida, mas parece que o JSONExtractor reconhece apenas o nível raiz. No meu caso, eu tenho que lidar com uma estrutura json aninhada, com uma matriz também (veja o exemplo abaixo). Alguma opção para extrair isso sem ...
Saída U-SQL no Azure Data Lake
Seria possível dividir automaticamente uma tabela em vários arquivos com base nos valores da coluna se eu não souber quantos valores de chave diferentes a tabela contém? É possível colocar o valor da chave no nome do arquivo?
Qual é o tamanho máximo permitido para String em U-SQL?
ao processar um arquivo CSV, estou recebendo um erro sobre o tamanho máximo da string. "O tamanho da string excede o tamanho máximo permitido".
Stream Analytics: caminho de saída dinâmico com base na carga útil da mensagem
Estou trabalhando em uma solução de análise de IoT que consome mensagens formatadas pelo Avro disparadas em um Hub IoT do Azure e (espero) use o Stream Analytics para armazenar mensagens no Data Lake e armazenamento de blob. Um requisito ...