Eu tenho um script python que atualmente acessa uma API que retorna JSON. Ele pega a string JSON e a salva como um arquivo no sistema de arquivos local, onde eu a movo manualmente para o HDFS. Gostaria de mudar isso para que meu script python seja salvo diretamente no HDFS, em vez de atingir o sistema de arquivos local primeiro. No momento, estou tentando salvar o arquivo usando o comando HDFS e DFS, mas não acho que o comando copy seja a maneira correta de fazer isso, porque não é um arquivo, mas uma string JSON quando estou tentando salvá-lo.

Código atual

import urllib2
import json
import os

f = urllib2.urlopen('RESTful_API_URL.json')
json_string = json.loads(f.read().decode('utf-8'))
with open('\home\user\filename.json', 'w') as outfile:
    json.dump(json_string,outfile)

Novo Código

f = urllib2.urlopen('RESTful_API_URL.json')
json_string = json.loads(f.read().decode('utf-8'))
os.environ['json_string'] = json.dump(json_string)
os.system('hdfs dfs -cp -f $json_string hdfs/user/test')