Existe algum tipo de links diretos para arquivos do Google Drive, então eu poderia baixá-los por seus links? Mesmo os links temporários teriam sido suficientes.

Como eu entendi, webContentLink pode ser usado apenas por navegadores, downloadUrl pode ser usado para pequenos arquivos de texto e deve ser usado com algo como XMLHttpRequest ou outra coisa.