Как я могу загрузить свой CSV из Google DataLab во фрейм данных Pandas?

Вот что я попробовал: (ноутбук ipython, с python2.7)

import gcp
import gcp.storage as storage
import gcp.bigquery as bq
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

sample_bucket_name = gcp.Context.default().project_id + '-datalab'
sample_bucket_path = 'gs://' + sample_bucket_name 
sample_bucket_object = sample_bucket_path + '/myFile.csv'
sample_bucket = storage.Bucket(sample_bucket_name)
df = bq.Query(sample_bucket_object).to_dataframe()

Который терпит неудачу.
есть ли у вас какие-либо выводы, что я делаю не так?

Ответы на вопрос(3)

скажем, в блокнот Jupyter, работающий на GCP.

Убедитесь, что у вас установлен Dask.

conda install dask #conda

pip install dask[complete] #pip

import dask.dataframe as dd #Import

dataframe = dd.read_csv('gs://bucket/datafile.csv') #Read CSV data

dataframe2 = dd.read_csv('gs://bucket/path/*.csv') #Read parquet data

Это все, что вам нужно для загрузки данных.

Теперь вы можете фильтровать и обрабатывать данные с помощью синтаксиса Pandas.

dataframe['z'] = dataframe.x + dataframe.y

dataframe_pd = dataframe.compute()

На основеисходный код данных bq.Query() в основном используется для выполнения запросов BigQuery SQL. С точки зрения чтения файла из Google Cloud Storage (GCS), одним из возможных решений является использование datalab%gcs магическая функция строки для чтения CSV из GCS в локальную переменную. Как только у вас есть данные в переменной, вы можете использоватьpd.read_csv() функция для преобразования данных в формате csv в pandas DataFrame. Следующее должно работать:

import pandas as pd
from StringIO import StringIO

# Read csv file from GCS into a variable
%gcs read --object gs://cloud-datalab-samples/cars.csv --variable cars

# Store in a pandas dataframe
df = pd.read_csv(StringIO(cars))

По следующей ссылке также связан вопрос о переполнении стека:Чтение в файл с Google DataLab

Решение Вопроса

я получил следующее для работы с ядром Python 3:

    import pandas as pd
    from io import BytesIO

    %gcs read --object "gs://[BUCKET ID]/[FILE].csv" --variable csv_as_bytes

    df = pd.read_csv(BytesIO(csv_as_bytes))
    df.head()

Ваш ответ на вопрос