Resultados da pesquisa a pedido "amazon-s3"
Spark SQL incapaz de concluir a gravação de dados do Parquet com um grande número de shards
Estou tentando usar o Apache Spark SQL para etl json log data no S3 em arquivos Parquet também no S3. Meu código é basicamente: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data = sqlContext.jsonFile("s3n://...", 10e-6) ...
hadoop copiando de hdfs para S3
Concluí com sucesso um trabalho de vetorização no Amazon EMR (usandoMahout no Elastic MapReduce como referência). Agora quero copiar os resultados do HDFS pa...
AngularJS SEO para páginas estáticas (S3 CDN)
Estive procurando maneiras de melhorar o SEO para aplicativos angularJS hospedados em uma CDN como o Amazon S3 (ou seja, armazenamento simples sem back-end). A maioria das soluções disponíveis,PhantomJS [http://phantomjs.org], prerender.io ...
Corrupção de imagem no upload para s3, somente produção. (onda transportadora, pátio de máquinas)
Estou usando carrierwave para fazer upload de imagens para o amazon s3. Isso funciona muito bem no desenvolvimento, mas não quando eu o envio ao servidor (teste na nuvem do engineyard O processo funciona bem, nenhum erro é gerado e um link é ...
Limitar o tamanho dos objetos durante o upload para o Amazon S3 usando URL pré-assinado
Eu sei de limitar o tamanho do upload de um objeto usando este método: http://doc.s3.amazonaws.com/proposals/post.html#Limiting_Uploaded_Content [http://doc.s3.amazonaws.com/proposals/post.html#Limiting_Uploaded_Content] Mas eu gostaria de saber ...
Por que minha solicitação pré-assinada S3 é inválida quando defino uma substituição de cabeçalho de resposta que contém um "+"?
Estou usando o Amazon .NET SDK para gerar um URL pré-assinado como este: public System.Web.Mvc.ActionResult AsActionResult(string contentType, string contentDisposition) { ResponseHeaderOverrides headerOverrides = new ResponseHeaderOverrides(); ...
Luigi Pipeline a partir de S3
Meus arquivos iniciais estão emAWS S3. Alguém poderia me indicar como eu preciso configurar isso em umLuigi Task? Revisei a documentação e encontreiluigi.S3 mas não está claro para mim o que fazer com isso, pesquisei na web e só obtive links ...
date: operando extra '+% s'
Estou com um pequeno erro que não está travando meu programa, por exemplo, mas o leva a um rastreamento. Ele continua me dando o erro: date: extra operand '+%s'Parece realmente impactar a velocidade do que ele pode processar, o que é ...
Como adicionar partição usando o hive em uma data específica?
Estou usando o hive (com tabelas externas) para processar dados armazenados no amazon S3. Meus dados são particionados da seguinte maneira: DIR s3://test.com/2014-03-01/ DIR s3://test.com/2014-03-02/ DIR s3://test.com/2014-03-03/ DIR ...
Como posso usar o boto para transmitir um arquivo do Amazon S3 para o Rackspace Cloudfile
Estou copiando um arquivo do S3 para o Cloudfiles e gostaria de evitar gravar o arquivo no disco. A biblioteca Python-Cloudfiles tem uma chamada object.stream () que parece ser o que eu preciso, mas não consigo encontrar uma chamada equivalente ...