Код не выдает ошибку, если npartitions установлен в 1. Итак, я предполагаю, что это связано с тем, что postgres не может обрабатывать параллельные запросы для записи в одну и ту же таблицу sql ...? Как я могу это исправить?

я изэто [https://stackoverflow.com/questions/54344793/create-sql-table-from-dask-dataframe-using-map-partitions-and-pd-df-to-sql] Конечно, когда я пытаюсь создать таблицу postgresql из dask.dataframe с более чем одним разделом, я получаю ...

Я рекомендую задать новый вопрос или вопрос, чтобы люди, которые следуют тегу dask, увидели ваш вопрос. Как сейчас, только мне сообщают.

ю собственный график для одной операции с Dask. Я знаком с тем, как передавать аргументы функции в графе Dask, и прочиталдокументы [http://dask.pydata.org/en/latest/custom-graphs.html], Тем не менее, кажется, что-то не хватает. Одна из функций, ...

Поскольку вы не задаете конкретный вопрос, такое общее чтение должно быть информативным, и, возможно, вы сможете уточнить, что вам нужно.

читал в официальной документации Airflowпоследующий [https://airflow.apache.org/configuration.html#scaling-out-with-celery]: [/imgs/BeHip.png] Что это значит точно? Что авторы подразумевают под масштабированием? Это,когда этонедостаточно, ...

Да, переменные очищаются, если нет ссылок на них.

спользовании распределенного планировщика Dask у меня есть задача, которая выполняется на удаленном работнике, которую я хочу остановить. Как мне это остановить? Я знаю о методе отмены, но, похоже, он не работает, если задача уже начала выполняться.

 (или что-то еще) должно существовать в каждом файле. Я на самом деле не проверял, что произойдет, если этого не произойдет ...

я есть файлы из 10 ансамблей и 35 временных файлов. Один из этих файлов выглядит так: >>> xr.open_dataset('ens1/CCSM4_ens1_07ic_19820701-19820731_NPac_Jul.nc') <xarray.Dataset> Dimensions: (ensemble: 1, latitude: 66, longitude: 191, time: 31) ...

Вот

У кого-нибудь есть сетевое решение для работников под Windows и Unix?

го начальный вопрос, но я не смог найти соответствующий ответ на этот вопрос ..По сути, мои данные о (7gb) находятся на моей локальной машине. Я распределенн...

 с тестом, который отражает то, что я пытаюсь сделать. Я использовал некоторые материалы, которые @MRocklin дал мне о dask.

 это взлом, который, кажется, работает, но он делает больше работы, чем необходимо.

Как эффективно отправлять задачи с большими аргументами в Dask?

Я хочу представить функции с Dask, которые имеют большие (масштаб гигабайта) аргументы. Каков наилучший способ сделать это? Я хочу запустить эту функцию мног...