Результаты поиска по запросу "apache-spark"

1 ответ

 тогда основной поток будет ждать завершения будущего.

у код для искры в Java. Когда я используюforeachAsync искра не дает и дает мнеjava.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. В этом коде: JavaSparkContext sparkContext = new ...

1 ответ

 не может быть преобразован в

ли конвертировать потоковоеo.a.s.sql.Dataset вDStream? Если так, то как? Я знаю, как преобразовать его в RDD, но это в контексте потоковой передачи.

1 ответ

Изменение свойства столбца Spark Dataframe

Я хочу изменить свойство Nullable определенного столбца в кадре данных Spark.Если я распечатаю схему информационного кадра в настоящее время, это выглядит та...

ТОП публикаций

0 ответов

https://github.com/apache/incubator-livy/blob/412ccc8fcf96854fedbe76af8e5a6fec2c542d25/repl/src/test/scala/org/apache/livy/repl/PythonInterpreterSpec.scala#L105

ентация по Apache Livy скудна: можно ли возвращать наборы результатов Spark SQL-запросов как вызовы REST, используя Apache Livy? Вызывающее приложение мобильное и не может использовать odbc / jdbc для подключения. Так что Spark ThriftServer не ...

1 ответ

Применение IndexToString к вектору объектов в Spark

5 ответов

TaskSchedulerImpl: начальное задание не приняло никаких ресурсов;

0 ответов

Нет, я получаю гораздо больше файлов на входе (около тысячи разделов)

ускаю простой тестовый анализ приложений, который читает данные за один год и записывает в Hive такое же количество данных, разбитых по дням. Перед записью я объединяю 15 разделов в каждом файле, чтобы не было много маленьких записанных файлов. Я ...

8 ответов

Что такое СДР в искре

4 ответа

Вы создаете свою схему .// Пример: val innerSchema = StructType (Array (StructField ("value", StringType), StructField ("count", LongType)))

учаю твиты из темы кафки с Avro (сериализатор и десериализатор). Затем я создаю искровой потребитель, который извлекает твиты в Dstream of RDD [GenericRecord]. Теперь я хочу преобразовать каждый rdd в фрейм данных для анализа этих твитов ...

2 ответа

Понимание искры физического плана