вот что я сделал:

аюсь использовать pureConfig и configFactory для конфигурации своего приложения spark. вот мой код:

, хотя в этом случае я согласен, что лучше напрямую работать с DataSet.

лкиваюсь с проблемой разделения столбца с несколькими значениями, т.е.

Обходной путь, предоставленный там:

тветствии с разделом 6.19 Спецификации языка Scala это цикл for:

stackoverflow.com/q/43582989/1305344

я запись в RDD содержит JSON. Я использую SQLContext для создания DataFrame из Json следующим образом:

Кафка: не может создать многопотоковых потребителей

Я только начал работать с Kafka 0.8 beta 1. У меня есть очень простой пример, проблема в том, что я могу заставить работать только одного потребителя сообщений, а не нескольких. То есть метод runSingleWorker () работает. Метод run () НЕ ...

Кроме того, нет хорошего способа узнать, когда микропакет полностью обработан вашим приложением, особенно если у вас несколько приемников.

ользую структурированную потоковую передачу со Spark 2.1.1. Мне нужно применить некоторую бизнес-логику для входящих сообщений (из источника Kafka).по сути, ...

 Как вы проверяете результаты? Каковы ваши ожидания? Что вы получаете вместо этого?

я есть набор данных (как

@ Аарон, хммм ... Должен признаться, я опрометчиво разместил свой комментарий выше. Ты прав ! Кажется, что нет альтернативы «Подъему», как вы называете его методом для Functor.

это работает, пока вы не создадите второй файл, который не является основным классом, и не попытаетесь запустить проект с этим файлом в фокусе.

т, я должен запустить программу Scala. я получил ошибку Основной класс не найден. Затем я открываю настройки и в приложении Scala. столбец основного класса н...

, У меня Spark 1.5.2 со Scala 2.10

я есть датафрейм с чем-то вроде этого