Estou tentando ler um arquivo CSV de um bucket S3 privado para um dataframe do pandas:

df = pandas.read_csv('s3://mybucket/file.csv')

Posso ler um arquivo de um bucket público, mas a leitura de um arquivo de um bucket privado resulta em HTTP 403: Erro proibido.

Eu configurei as credenciais da AWS usando o aws configure.

Posso baixar um arquivo de um bucket privado usando o boto3, que usa credenciais do aws. Parece que preciso configurar os pandas para usar credenciais da AWS, mas não sei como.