Результаты поиска по запросу "amazon-s3"
Вышеупомянутое решение работает. Один вопрос: если у меня есть подпапка S3 с несколькими папками, в которых записывается «прогон данных», а название папки - число, как мне выбрать только 3 самых верхних числа (таким образом, все «прогоны данных») не импортируются). например, подпапка содержит папки 1000, 1005, 1050, 1101 и 1060. Я хочу выбрать только 1050, 1101 и 1060 (самые высокие 3 числа). Есть ли хитрость для этого?
вожу анализ больших данных с помощью PySpark. Я могу импортировать все файлы CSV, хранящиеся в определенной папке определенного сегмента, используя следующую команду: df = ...
s3cmd-модификация спасла мне дни копирования.
ался найти лучший инструмент командной строки для дублирования сегментов, чем s3cmd [http://s3tools.org/s3cmd]. s3cmd может дублировать корзины без необходимости загружать и загружать каждый файл. Команда, которую я обычно запускаю для ...
Возможно ли загрузить файл на S3 с помощью CarrierWave без модели?
CarrierWave имеет потрясающую документацию, пока вам не понадобится делать это без модели! У меня настроены параметры загрузки и настройки тумана, и все они отлично работают при использовании установленного загрузчика на модели, но теперь я ...
? Похоже, что разработчик SDK довольно быстро реагирует на ошибки, о которых там сообщается.
могу изменить тип MIME для загруженных файлов на Amazon S3. Я пробовал ...
Хороший вопрос, я перенес инициализацию клиента s3 за пределы лямбда-обработчика
то я хочу сделать: Пользователь загружает CSV-файл в корзину AWS S3.После загрузки файла S3 Bucket вызывает лямбда-функцию, которую я создал.Моя лямбда-функция читает содержимое файла csv, а затем отправляет электронное письмо с содержанием ...
Надеюсь, что это кому-нибудь поможет.
ользую AWS Credentials * для подключения к своему AWS S3. final AmazonS3 s3 = new AmazonS3Client( new AWSStaticCredentialsProvider(new BasicAWSCredentials("accessKey*", ...
объект как следовать:
аюсь написать утилиту, используя aws-java-sdk (1.11.230). Я могу написать файл с SSE-KMS с помощью PutObjectRequest следующим образом: PutObjectRequest putRequest = new PutObjectRequest(existingBucketName, keyName, file) ...
+1 Я новичок в Data Pipeline, и это помогло мне понять, как настроить задание для извлечения данных из Redshift в RDS.
аюсь создать задание для извлечения данных из Redshift и записи тех же данных в корзины S3. До сих пор я исследовал AWS Glue, но Glue не способен запускать пользовательские sql на красное смещение. Я знаю, что мы можем запускать команды выгрузки ...
И для вашего удобства весь исходный код:
но у меня появилось требование, в котором мне нужно было генерировать файлы Parquet, которые могли бы быть прочитаны Apache Spark с использованием только Java (без дополнительных установок программного обеспечения, таких как: Apache Drill, Hive, ...
http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.copy
у скопировать файл из одной корзины s3 в другую. Я получаю следующую ошибку: s3.meta.client.copy (источник, приемник) TypeError: copy () принимает как минимум 4 аргумента (дано 3) Я не могу найти решение, читая документы. Вот мой ...