Результаты поиска по запросу "pyspark"
Spark-запрос выполняется очень медленно
У меня есть кластер на AWS с 2 рабами и 1 мастером. Все экземпляры имеют тип m1.large. У меня работает спарк версии 1.4. Я оцениваю производительность на 4 м...
Функция Strip или Regex в кадре данных Spark 1.3
У меня есть некоторый код из PySpark 1.5, который я, к сожалению, должен перенести обратно в Spark 1.3. У меня есть столбец с алфавитно-цифровыми элементами,...
Возврат RDD с наибольшим значением N из другого RDD в SPARK
Я пытаюсь отфильтровать RDD кортежей, чтобы получить наибольшее N кортежей на основе значений ключей. Мне нужен формат возврата, чтобы быть RDD.Итак, СДР:
Что такое эквивалентный класс случая Scala в PySpark?
Как бы вы применили и / или внедрили эквивалент класса case в PySpark?
С UDF с помощью взрыва
с Я хочу добавить возвращаемые значения UDF к существующему фрейму данных в отдельных столбцах. Как мне достичь этого изобретательно? Вот пример того, что я имею до сих пор. from pyspark.sql.functions import udf from pyspark.sql.types import ...
PySpark DataFrames - способ перечисления без преобразования в панды?
У меня очень большойpyspark.sql.dataframe.DataFrame по имени дф. Мне нужен какой-то способ перечисления записей - таким образом, возможность доступа к записи...