Результаты поиска по запросу "apache-spark"
Spark поддерживает подзапросы? [Дубликат]
На этот вопрос уже есть ответ: Поддерживает ли SparkSQL подзапрос? [/questions/33933118/does-sparksql-support-subquery] 2 ответа Когда я выполняю этот запрос, я получаю такую ошибку select * from raw_2 where ip NOT IN (select * from raw_1); ...
Понимание результатов работы Spark Terminal на этапах [дубликаты]
На этот вопрос уже есть ответ: Что означают цифры на индикаторе выполнения в спарк-оболочке? [/questions/30245180/what-do-the-numbers-on-the-progress-bar-mean-in-spark-shell] 2 ответа Я новичок в Spark и пытаюсь понять вывод журнала его этапов ...
Как включить декартово присоединение к Spark 2.0? [Дубликат]
На этот вопрос уже есть ответ: spark.sql.crossJoin.enabled для Spark 2.x [/questions/38999140/spark-sql-crossjoin-enabled-for-spark-2-x] 3 ответа Мне нужно соединить два кадра данных в Spark 2.0. Я столкнулся с ошибкой ниже: Пользовательский ...
Spark время выполнения задания экспоненциально возрастает с очень широким набором данных и число столбцов [дублированный]
Этот вопрос является точной копией: Spark Fixed Width File Import Большое количество столбцов, вызывающих большое время выполнения [/questions/52293806/spark-fixed-width-file-import-large-number-of-columns-causing-high-execution-tim] Я создал ...
`combByKey`, pyspark [дубликаты]
На этот вопрос уже есть ответ: Кто может дать четкое объяснение для «combByKey» в Spark? [/questions/33937625/who-can-give-a-clear-explanation-for-combinebykey-in-spark] 1 ответApache Spark: Какова эквивалентная реализация RDD.groupByKey () ...
В чем разница между SparkSession и SparkContext? [Дубликат]
На этот вопрос уже есть ответ: Разница между SparkContext, JavaSparkContext, SQLContext и SparkSession? [/questions/43802809/difference-between-sparkcontext-javasparkcontext-sqlcontext-and-sparksession] 3 ответа Я знаю только разницу в версии, ...
Используйте схему для преобразования сообщений AVRO с помощью Spark в DataFrame
Есть ли способ использовать схему для преобразования Avro [/questions/tagged/avro] сообщения от Кафка [/questions/tagged/kafka] с Искра [/questions/tagged/spark] в Dataframe [/questions/tagged/dataframe]? Файл схемы для записей пользователя: { ...
Определение оптимального количества разделов Spark на основе рабочих, ядер и размера DataFrame
В Spark-land существует несколько похожих, но разных концепций, касающихся того, как работа передается на разные узлы и выполняется одновременно. В частности, есть: Узел Spark Driver sparkDriverCount) Количество рабочих узлов, доступных ...
Как мне расправить фрейм данных pySpark на один столбец массива? [Дубликат]
На этот вопрос уже есть ответ: Деление сложных строк информационного кадра на простые строки в Pyspark [/questions/36186627/dividing-complex-rows-of-dataframe-to-simple-rows-in-pyspark] 2 ответа У меня есть такой искровой ...
Развернуть данные массива в строки в spark [duplicate]
На этот вопрос уже есть ответ: Деление сложных строк информационного кадра на простые строки в Pyspark [/questions/36186627/dividing-complex-rows-of-dataframe-to-simple-rows-in-pyspark] 2 ответа У меня есть набор данных следующим ...