Результаты поиска по запросу "apache-spark"
Как Spark работает на учетной записи YARN для использования памяти Python?
После прочтения документации я не понимаю, как Spark работает на YARN-аккаунте для потребления памяти Python.Считается ли это в сторону
Spark загрузить данные и добавить имя файла в виде столбца данных
Я загружаю некоторые данные в Spark с помощью функции-оболочки:
В Spark 2.0 отсутствуют искровые последствия
Используя Spark 2.0, я увидел, что можно превратить данные в строках в классы дел. Когда я пытаюсь это сделать, меня приветствует сообщение об импорте
PySpark: StructField (…,…, False) всегда возвращает «nullable = true» вместо «nullable = false»
Я новичок в PySpark и сталкиваюсь со странной проблемой. Я пытаюсь установить для некоторого столбца ненулевое значение при загрузке набора данных CSV. Я мог...
Как исправить java.lang.ClassCastException: невозможно назначить экземпляр scala.collection.immutable.List типу поля scala.collection.Seq?
Эту ошибку было труднее всего отследить. Я не уверен, что происходит. Я использую кластер Spark на моей машине определения местоположения. поэтому весь искро...
Автономная конфигурация Spark с несколькими исполнителями
Я пытаюсь настроить автономный сервер Spark 2.0 для параллельной обработки аналитической функции. Для этого я хочу иметь одного работника с несколькими испол...
Ограничить размер пакетов Kafka при использовании Spark Streaming
Можно ли ограничить размер пакетов, возвращаемых потребителем Kafka для Spark Streaming?Я спрашиваю, потому что у первой партии, которую я получаю, есть сотн...
Как перестать запускать приложение Spark Streaming Изящно?
Как я могу остановить поток искр? Моя работа по потоковой передаче искр работает постоянно. Я хочу остановиться в изящной манере.Я видел ниже вариант отключе...
выполнить объединение на нескольких DataFrame в искре
У меня есть 3dataframes, сгенерированные из 3 разных процессов. Каждый фрейм данных имеет столбцы с одинаковыми именами. Мой фрейм данных выглядит так
Как ограничить динамическое самораспределение ресурсов в кластере Hadoop под Yarn?
В нашем кластере Hadoop, работающем под управлением Yarn, у нас есть проблема, заключающаяся в том, что некоторые «умные» люди могут потреблять значительно б...