Я пытаюсь транслировать данные из твиттера в hdfs, используя flume, и это:https://github.com/cloudera/cdh-twitter-example/

Что бы я ни пытался здесь, он продолжает создавать файлы в HDFS размером от 1,5 до 15 КБ, где я хотел бы видеть большие файлы (64 МБ). Вот конфигурация агента:

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS

TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels = MemChannel
TwitterAgent.sources.Twitter.consumerKey = xxxxxx
TwitterAgent.sources.Twitter.consumerSecret = xxxxxx
TwitterAgent.sources.Twitter.accessToken = xxxxx
TwitterAgent.sources.Twitter.accessTokenSecret = xxxxxxxx
TwitterAgent.sources.Twitter.keywords = test

TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost.localdomain:8020/user/flume/tweets/%Y/%m/%d/%H/
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 10000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 67108864
TwitterAgent.sinks.HDFS.hdfs.rollCount = 0
TwitterAgent.sinks.HDFS.hdfs.rollInterval = 0
TwitterAgent.sinks.HDFS.hdfs.idleTimeout = 0

TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 1000

РЕДАКТИРОВАТЬ: Я посмотрел в лог-файлы и обнаружил, что это происходит постоянно:

9: 11: 27.526 AM WARN org.apache.flume.sink.hdfs.BucketWriter Block Обнаружена недостаточная репликация. Вращающийся файл. 9: 11: 37.036 ОШИБКА org.apache.flume.sink.hdfs.BucketWriter

Хит макс последовательных вращений недостаточной репликации (30); не будет продолжать качать файлы по этому пути из-за недостаточной репликации