Результаты поиска по запросу "apache-spark"
Spark DataFrame преобразует несколько строк в столбец
Я новичок, чтобы зажечь, и я хочупреобразование нижеисходный фрейм данных (загрузить из файла JSON):
Spark объединение нескольких RDD
В моем коде свиньи я делаю это:
Вычисление ранга строки
Я хочу оценить идентификатор пользователя на основе одного поля. Для того же значения поля ранг должен быть одинаковым. Эти данные находятся в таблице Hive.н...
Sparksql фильтрация (выбор с предложением где) с несколькими условиями
Привет у меня есть следующая проблема:
Spark SQL ссылающиеся атрибуты UDT
Я пытаюсь реализовать пользовательский UDT и иметь возможность ссылаться на него из Spark SQL (как описано в техническом описании Spark SQL, раздел 4.4.2).На...
Spark 1.5.1, Cassandra Connector 1.5.0-M2, Cassandra 2.1, Scala 2.10, NoSuchMethodError зависимость от гуавы
Впервые в среде Spark (и довольно плохо знаком с Maven), поэтому я борюсь с тем, как правильно отправлять зависимости, которые мне нужны.Похоже, что Spark 1....
Spark: как можно равномерно распределить мои записи по всем разделам
У меня есть СДР с 30 записями (пара ключ / значение: ключ - метка времени, а значение - байтовый массив JPEG)и я бегу 30 исполнителей. Я хочу перераспределит...
Повторяющиеся столбцы в Spark Dataframe
У меня есть 10GB CSV-файл в кластере hadoop с дубликатами столбцов. Я пытаюсь проанализировать это в SparkR, поэтому я использую
Не удалось найти лидеров для Set ([TOPICNNAME, 0])), когда мы работаем в Apache Saprk
Мы используем Apache Spark 1.5.1 и kafka_2.10-0.8.2.1 и Kafka DirectStream API для извлечения данных из Kafka с использованием Spark.Мы создали темы в Кафке ...