Spark: как запустить спарк-файл из спарк-оболочки

Класс KafkaUtils не найден в потоковой передаче Spark

Я только начал с Spark Streaming, и я пытаюсь создать пример приложения, которое считает слова из потока Kafka. Хотя это компилируется с

Скала код бросить исключение в искре

Я новичок в скале и искре. Сегодня я попытался написать некоторый код и позволить ему работать на искре, но получил исключение.этот код работает в локальной ...

Как остановить отображение сообщений INFO на спарк-консоли?

Я хотел бы остановить различные сообщения, которые приходят на спарк-оболочку.Я пытался редактировать

«Нет файловой системы для схемы: gs» при локальном запуске искрового задания

Я запускаю задание Spark (версия 1.2.0), а входные данные - это папка внутри корзины Google Clous Storage (например, gs: // mybucket / folder)При локальном з...

Как преобразовать org.apache.spark.rdd.RDD [Array [Double]] в Array [Double], который требуется для Spark MLlib

SparkSQL MissingRequirementError при регистрации таблицы

Как пропустить заголовок из CSV-файлов в Spark?

Предположим, я предоставляю три пути к файлам для контекста Spark, и каждый файл имеет схему в первой строке. Как мы можем пропустить строки схемы из заголов...

рекурсивное чтение файлов из подкаталогов с помощью spark из s3 или локальной файловой системы

Я пытаюсь прочитать файлы из каталога, который содержит много подкаталогов. Данные в S3, и я пытаюсь сделать это:

Почему Scala 2.11 и Spark с гребешком приводят к «java.lang.NoSuchMethodError: scala.reflect.api.JavaUniverse.runtimeMirror»?