Примеры Dataproc + BigQuery - есть ли в наличии?
По данным Dataprocdocos, она имеет "встроенная и автоматическая интеграция с BigQuery».
У меня есть таблица в BigQuery. Я хочу прочитать эту таблицу и выполнить ее анализ с помощью созданного мной кластера Dataproc (используя задание PySpark). Затем запишите результаты этого анализа обратно в BigQuery. Вы можете спросить: «Почему бы просто не провести анализ непосредственно в BigQuery !?» - причина в том, что мы создаем сложные статистические модели, а уровень SQL слишком высок для их разработки. Нам нужно что-то вроде Python или R, например Dataproc.
Есть ли у них примеры Dataproc + BigQuery? Я не могу найти ни одного.