Seguimiento de Tweepy múltiples términos
Estoy haciendo análisis de contenido en tweets. Estoy usando tweepy para devolver tweets que coinciden con ciertos términos y luego escribir N cantidad de tweets en un archivo CSv para su análisis. Crear archivos y obtener datos no es un problema, pero me gustaría reducir el tiempo de recopilación de datos. Actualmente estoy iterando a través de una lista de términos de un archivo. Una vez que se alcanza la N (por ejemplo, 500 tweets), se mueve al siguiente término de filtro.
Me gustaría ingresar todos mis términos (menos de 400) en una sola variable y todos los resultados para que coincidan. Esto también funciona. Lo que no puedo obtener es un valor de retorno de Twitter sobre qué término coincide en el estado.
class CustomStreamListener(tweepy.StreamListener):
def __init__(self, output_file, api=None):
super(CustomStreamListener, self).__init__()
self.num_tweets = 0
self.output_file = output_file
def on_status(self, status):
cleaned = status.text.replace('\'','').replace('&','').replace('>','').replace(',','').replace("\n",'')
self.num_tweets = self.num_tweets + 1
if self.num_tweets < 500:
self.output_file.write(topicName + ',' + status.user.location.encode("UTF-8") + ',' + cleaned.encode("UTF-8") + "\n")
print ("capturing tweet number " + str(self.num_tweets) + " for search term: " + topicName)
return True
else:
return False
sys.exit("terminating")
def on_error(self, status_code):
print >> sys.stderr, 'Encountered error with status code:', status_code
return True # Don't kill the stream
def on_timeout(self):
print >> sys.stderr, 'Timeout...'
return True #Don't kill the stream
with open('termList.txt', 'r') as f:
topics = [line.strip() for line in f]
for topicName in topics:
stamp = datetime.datetime.now().strftime(topicName + '-%Y-%m-%d-%H%M%S')
with open(stamp + '.csv', 'w+') as topicFile:
sapi = tweepy.streaming.Stream(auth, CustomStreamListener(topicFile))
sapi.filter(track=[topicName])
Específicamente mi problema es este. ¿Cómo obtengo lo que coincide si la variable de seguimiento tiene varias entradas? También diré que soy relativamente nuevo en Python y Tweepy.
Gracias de antemano por cualquier consejo y asistencia!