Я попробую это позже. Спасибо, что поделился.

ли простой способ или пример для загрузкиGoogle Cloud Storage данные вbigtable?

У меня многоjson файлы, созданные pyspark, и я хочу загрузить данные вbigtable.

Но я не могу найти легкий способ сделать это!

Я попробовалpython код изGoogle облако-питон и он работает оштрафован, но он просто читал данные построчно в bigtable, что было странно для меня.

Любая помощь будет принята с благодарностью.

Ответы на вопрос(1)

Решение Вопроса

лько вариантов:

Импортируйте файлы, используяПоток данных, Это требует разработки Java и изучения модели программирования Dataflow.Используйте Python (возможно, с Pyspark) для чтения этих файлов json и записи в Cloud Bigtable с помощью метода, называемогоmutate_rows которые пишут в Bigtable навалом.

К вашему сведению, я работаю в команде Cloud Bigtable. Я разработчик Java, поэтому я выбираю # 1. Наша команда работает над улучшением нашего опыта работы с Python. Расширенная команда недавно добавила некоторые улучшения надежности, чтобы убедиться, что mutate_rows является устойчивым для больших заданий. У нас пока нет хороших примеров интеграции с PySpark илиApache Beam's Python SDK, но они на нашем радаре.

 Solomon Duskis19 нояб. 2017 г., 16:19
Вот несколько примеров использования Dataflow с Cloud Bigtable:github.com/GoogleCloudPlatform/cloud-bigtable-examples/tree/...
 chilun20 нояб. 2017 г., 02:18
Я попробую это позже. Спасибо, что поделился.
 chilun19 нояб. 2017 г., 03:15
Привет, @Solomon, спасибо, что поделились опытом своей команды. Я пытался использовать Dataflow, чтобы сделать это. Я думаю, что я действительно не знаю о том, как использовать Dataflow на gcp. Кстати, документы gcp меня всегда смущают !! ha..ha ..

Ваш ответ на вопрос