Вы можете видеть, что ваши данные успешно загружены.

ы обычные способы импорта личных данных в записные книжки Google Colab Laboratory? Можно ли импортировать непубличный лист Google? Вы не можете читать из системных файлов. Вступительные документы ссылаются наруководство по использованию BigQuery, но это кажется немного ... много.

 Grae28 окт. 2017 г., 06:59
Я хотел пометить сgoogle-colaboratory но не имеют репутации, чтобы создать новый тег.

Ответы на вопрос(13)

а свои файлы и используйте этот путь

"/content/YourFileName.extension"

например:pd.read_csv('/content/Forbes2015.csv');

Сделайте репозиторий на GitHub с вашим набором данныхКлонировать Ваш репозиторий с! git clone --recursive [GITHUB LINK REPO]Найдите, где находятся ваши данные (команда! Ls)Откройте файл с пандами, как вы делаете это в обычном блокноте Jupyter.
 Mukul Sharma07 апр. 2018 г., 13:55
Привет, с этим gapminder = pd.read_csv ("Анализ данных / pairplots / data / gapminder_data.csv") Я получаю только переменную "версия https: // .." только с 2 наблюдениями
 Akshay Soam13 апр. 2018 г., 22:01
Это решение не сработает, если размер одного файла превышает допустимый предел github, который, если я думаю, в бесплатной версии составляет 20 МБ.

по адресуhttps://github.com/ruelj2/Google_drive что делает это намного проще.

!pip install - U - q PyDrive  
import os  
os.chdir('/content/')  
!git clone https://github.com/ruelj2/Google_drive.git  

from Google_drive.handle import Google_drive  
Gd = Google_drive()  

Затем, если вы хотите загрузить все файлы в каталоге Google Drive, просто

Gd.load_all(local_dir, drive_dir_ID, force=False)  

Или просто конкретный файл с

Gd.load_file(local_dir, file_ID)
 Parseltongue07 дек. 2018 г., 01:31
В этом случае, что такое "drive_dir_ID?"
 Jean-Christophe07 дек. 2018 г., 16:24
Как уже упоминалось в репозитории git, drive_dir_ID - это соответствующий идентификатор Google Drive для запрошенного каталога. Для получения дополнительной информации, пожалуйста, проверьтеgithub.com/ruelj2/Google_drive, Существует также явный пример использования.

ит время людей (не знаю, почему Google просто не перечисляет этот шаг в явном виде).

УСТАНОВИТЬ И АУТЕНТИФИЦИРОВАТЬ PYDRIVE

     !pip install -U -q PyDrive ## you will have install for every colab session

     from pydrive.auth import GoogleAuth
     from pydrive.drive import GoogleDrive
     from google.colab import auth
     from oauth2client.client import GoogleCredentials

     # 1. Authenticate and create the PyDrive client.
     auth.authenticate_user()
     gauth = GoogleAuth()
     gauth.credentials = GoogleCredentials.get_application_default()
     drive = GoogleDrive(gauth)

UPLOADING

если вам нужно загрузить данные с локального диска:

    from google.colab import files

    uploaded = files.upload()

    for fn in uploaded.keys():
       print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn])))

выполнить, и это будет отображать кнопку выбора файла - найти файл загрузки - нажмите открыть

После загрузки отобразится:

    sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done
    User uploaded file "sample_file.json" with length 11733 bytes

СОЗДАТЬ ФАЙЛ ДЛЯ ЗАПИСИ

Если ваш файл данных уже находится в вашем gdrive, вы можете пропустить этот шаг.

Теперь это в вашем диске Google. Найдите файл на вашем диске Google и щелкните правой кнопкой мыши. Нажмите кнопку «Поделиться ссылкой». Вы получите окно с:

    https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn

Скопируйте - '29PGh8XCts3mlMP6zRphvnIcbv27boawn' - это идентификатор файла.

В вашей записной книжке:

    json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'})

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook.

Импорт данных в записную книжку

Чтобы импортировать данные, которые вы загрузили в записную книжку (в этом примере файл json - способ загрузки будет зависеть от типа файла / данных - .txt, .csv и т. Д.):

    sample_uploaded_data = json.load(open('sample.json'))

Теперь вы можете распечатать, чтобы увидеть данные там:

    print(sample_uploaded_data)
 5agado23 февр. 2018 г., 14:48
Стоит отметить, чтоUPLOADING предложение черезgoogle.colab.files.upload() похоже не работает ни на Firefox, ни на Safari, только на Chrome. ВидетьВот

это довольно просто. Zip ваша папка в моем случае это

dataset.zip

Затем в Colab щелкните правой кнопкой мыши папку, в которую вы хотите поместить этот файл, и нажмите Загрузить и загрузить этот zip-файл. После этого напишите эту команду Linux.

!unzip <your_zip_file_name>

Вы можете видеть, что ваши данные успешно загружены.

Запустите приведенный ниже код (нашел его где-то ранее, но я не могу найти источник снова - кредиты тому, кто его написал!):

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

Нажмите на первую появившуюся ссылку, которая предложит вам войти в Google; после этого появится другое, которое попросит разрешения на доступ к вашему Google Диску.

Затем запустите этот файл, который создаст каталог с именем «drive» и свяжет с ним ваш Google Drive:

!mkdir -p drive
!google-drive-ocamlfuse drive

Если вы делаете!ls Теперь будет каталог диска, и если вы сделаете!ls drive Вы можете увидеть все содержимое вашего Google Drive.

Так, например, если я сохраню свой файл под названиемabc.txt в папке с именемColabNotebooks в моем Google Диске, теперь я могу получить к нему доступ через путьdrive/ColabNotebooks/abc.txt

 Karan Singh04 мая 2018 г., 02:35

https://stackoverflow.com/questions/47212852/how-to-import-and-read-a-shelve-or-numpy-file-in-google-colaboratory/49467113#49467113

from google.colab import files
import zipfile, io, os

    def read_dir_file(case_f):
        # author: yasser mustafa, 21 March 2018  
        # case_f = 0 for uploading one File and case_f = 1 for uploading one Zipped Directory
        uploaded = files.upload()    # to upload a Full Directory, please Zip it first (use WinZip)
        for fn in uploaded.keys():
            name = fn  #.encode('utf-8')
            #print('\nfile after encode', name)
            #name = io.BytesIO(uploaded[name])
        if case_f == 0:    # case of uploading 'One File only'
            print('\n file name: ', name)
            return name
        else:   # case of uploading a directory and its subdirectories and files
            zfile = zipfile.ZipFile(name, 'r')   # unzip the directory 
            zfile.extractall()
            for d in zfile.namelist():   # d = directory
                print('\n main directory name: ', d)
                return d
    print('Done!')

Вот один из способов импортировать файлы с Google Drive на ноутбуки.

откройте блокнот jupyter, запустите приведенный ниже код и завершите процесс аутентификации
!apt-get install -y -qq software-properties-common python-software-properties   module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret=  {creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
как только вы закончили с приведенным выше кодом, запустите приведенный ниже код, чтобы смонтировать диск Google
!mkdir -p drive
!google-drive-ocamlfuse drive
Импорт файлов с google-накопителя в записные книжки (например, Colab_Notebooks / db.csv)

скажем, ваш файл набора данных в папке Colab_Notebooks и его имя db.csv

import pandas as pd
dataset=pd.read_csv("drive/Colab_Notebooks/db.csv")

Я надеюсь, что это помогает

Загрузить

Скачать

files.download('filename')

Список каталогов

files.os.listdir()
 RodrikTheReader26 июл. 2018 г., 10:34
Сохраненные файлы хранятся на диске Google пользователя или на сервере, к которому подключен ноутбук?
 user2500413 нояб. 2018 г., 00:15
Любой аргумент для загрузки?
 A-B-B22 сент. 2018 г., 00:18
Разве эти файлы не эфемерны?

Быстрый и простой импорт из Dropbox:

!pip install dropbox
import dropbox
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps
dbx = dropbox.Dropbox(access_token)

# response = dbx.files_list_folder("")

metadata, res = dbx.files_download('/dataframe.pickle2')

with open('dataframe.pickle2', "wb") as f:
  f.write(res.content)

Шаг 1. Подключите ваш Google Drive к совместной работе.

drive.mount('/content/gdrive')

Шаг 2. Теперь вы увидите файлы Google Диска в левой панели (проводник). Щелкните правой кнопкой мыши файл, который нужно импортировать, и выберите «Копировать путь». Затем импортируйте как обычно в пандах, используя этот скопированный путь.

import pandas as pd
df=pd.read_csv('gdrive/My Drive/data.csv')

Готово!

которое я нашел до сих пор и которое идеально подходит для CSV-файлов малого и среднего размера:

Создайте секретный список на gist.github.com и загрузите (или скопируйте и вставьте содержимое) свой файл.Нажми нанеобработанный просмотреть и скопировать URL-адрес необработанного файла.Используйте скопированный URL в качестве адреса файла при вызовеpandas.read_csv(URL)

Это может или не может работать для чтения текстового файла построчно или двоичных файлов.

 Grae13 июл. 2018 г., 21:05
Важно отметить, что, хотя секретные сущности трудно обнаружить, онине конфиденциально, поэтому любой, кто использует этот подход, должен быть осторожен
Решение Вопроса

демонстрирующий загрузку / выгрузку локальных файлов и интеграцию с Drive и листами, доступен здесь:https://colab.research.google.com/notebooks/io.ipynb

Самый простой способ обмениваться файлами - это подключить ваш Google Drive.

Для этого запустите следующее в ячейке кода:

from google.colab import drive
drive.mount('/content/drive')

После этого файлы с вашего диска будут смонтированы, и вы сможете просматривать их с помощью браузера файлов на боковой панели.

Вотполный пример тетради

 yellow0112 сент. 2018 г., 21:10
Могу ли я импортировать определенную папку на моем диске? Я делюсь этим колабом с кем-то другим, и я не хочу предоставлять доступ ко всем моим дискам Google, которые содержат конфиденциальную информацию
 Swapnil B.30 окт. 2018 г., 03:36
мое монтирование прошло успешно, но я не вижу списка файлов в левой части под файлами. Какие-либо предложения?
 Bob Smith30 окт. 2017 г., 19:03
Пример листов теперь включен в прилагаемый пример записной книжки, который также включает рецепты для Drive и Google Cloud Storage:colab.research.google.com/notebook#fileId=/v2/external/...
 Bob Smith12 сент. 2018 г., 22:10
Файлы на вашем диске не будут доступны, если вы поделитесь записной книжкой. Пользователь по-прежнему должен будет смонтировать свой собственный диск, который является отдельным. Вы можете поделиться файлами с этим пользователем, если это необходимо, но все это контролируется обычными списками ACL. Совместное использование записной книжки Colab использует только записную книжку, а не файлы диска, на которые есть ссылки в этой записной книжке
 saurabheights11 янв. 2019 г., 03:31
Не тренируйтесь на данных в смонтированном гугл-диске. Сначала скопируйте данные на локальный диск, а затем обучайтесь на нем. Это будет почти в 10 раз быстрее. Для более быстрого копирования убедитесь, что файлы данных представляют собой большие архивы или несколько меньших. Например: - Не используйте 100000 файлов изображений. Используйте 100 архивов по 1000 изображений в каждом. Таким образом, загрузка на диск Google также быстрее, как и копирование с диска Google в Colab.

Ваш ответ на вопрос