Поэтому я хочу, чтобы мое приложение Spark считывало текст с Amazon S3. Я написал следующий простой скрипт:

import boto3
s3_client = boto3.client('s3')
text_keys = ["key1.txt", "key2.txt"]
data = sc.parallelize(text_keys).flatMap(lambda key: s3_client.get_object(Bucket="my_bucket", Key=key)['Body'].read().decode('utf-8'))

Когда я делаюdata.collect Я получаю следующую ошибку:

TypeError: can't pickle thread.lock objects

и я не вижу никакой помощи в Интернете. Возможно, кому-то удалось решить вышесказанное?