Cloudera 5.4.2: неверный или слишком большой размер блока Avro при использовании потоковой передачи Flume и Twitter

При попытке Cloudera 5.4.2 возникает крошечная проблема. Основываясь на этой статьеApache Flume - получение данных из Twitterhttp://www.tutorialspoint.com/ap...

Приемник Flume HDFS постоянно катит небольшие файлы

Я пытаюсь транслировать данные из твиттера в hdfs, используя flume, и это:https://github.com/cloudera/cdh-twitter-example/Что бы я ни пытался здесь, он продо...

Как использовать селектор regex_extractor и мультиплексор перехватчик вместе в трубе?

Я тестирую flume для загрузки данных в hHase и думаю о параллельной загрузке данных с использованием селектора и inteceptor flume из-за разницы в скорости между источником и приемником. Итак, что я хочу сделать с Flume создание заголовка ...

Как установить и настроить Apache Flume?

Я новичок в Apache Flume. Мне нужно установить поток поверх кластерной среды HDFS. Я сделал Google это, все говорят, используя дистрибутив Cloudera, но мне нужно установить и настроить из источника. Так может кто-нибудь подсказать, пожалуйста, с ...

Получение «проверки flume.conf на наличие изменений» в цикле

Я использую Apache Flume 1.4.0 для сбора файлов журналов (auth.log) и их хранения в HDFS (Hadoop 2.6.0). Используемая команда:

Как настроить источник HTTP для тестирования настроек Flume?

Я новичок в Flume и Hadoop. Мы разрабатываем модуль BI, в котором мы можем хранить все журналы с разных серверов в HDFS. Для этого я использую Flume. Я только начал пробовать это. Успешно создан узел, но теперь я хочу настроить источник HTTP и ...

Как использовать селектор regex_extractor и мультиплексор перехватчик вместе в трубе?

Я тестирую flume для загрузки данных в hHase и думаю о параллельной загрузке данных с использованием flume 'Селектор и интерцептор, из-за разницы в скоро...

Использование HDFS Sink и rollInterval во Flume-ng для сбора 90 секунд информации журнала

Проблема с балансировкой при чтении сообщений в Кафке

Я пытаюсь читать сообщения на тему Кафки, но не могу прочитать. Процесс завершается через некоторое время, без чтения каких-либо сообщений.Вот ошибка перебал...

обработка логов в реальном времени с использованием Apache Spark Streaming

Я хочу создать систему, в которой я мог бы читать журналы в реальном времени и использовать apache spark для ее обработки. Я сбит с толку, если я должен испо...