Результаты поиска по запросу "spark-dataframe"

2 ответа

https://github.com/ZuInnoTe/spark-hadoopoffice-ds

аю файл Excel, используяcom.crealytics.spark.excel пакет. Ниже приведен код для чтения файла Excel в спарк Java.

3 ответа

Spark UI показывает 0 ядер даже при настройке ядер в приложении

У меня возникла странная проблема с запуском приложения из основного URL-адреса Spark, когда пользовательский интерфейс неопределенно сообщает «СОСТОЯНИЕ» «О...

1 ответ

 во втором окне см. обновление

ужно выполнить описанную ниже операцию с кадрами данных, используя оконную функцию Lag and Lead. Для каждого ключа мне нужно выполнить приведенную ниже вставку и обновить в окончательном выводе Введите условие: 1. По умолчанию LAYER_NO = 0 ...

ТОП публикаций

5 ответов

Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?

У меня есть датафрейм Spark 2.0

0 ответов

Предположим, у вас есть датафрейм. df1 и если вы хотите соединить один и тот же кадр данных, вы можете использовать ниже

val rdd = sc.parallelize(Seq(("vskp", Array(2.0, 1.0, 2.1, 5.4)),("hyd",Array(1.5, 0.5, 0.9, 3.7)),("hyd", Array(1.5, 0.5, 0.9, 3.2)),("tvm", Array(8.0, 2.9, 9.1, 2.5)))) val df1= rdd.toDF("id", "vals") val rdd1 = ...

4 ответа

Вы создаете свою схему .// Пример: val innerSchema = StructType (Array (StructField ("value", StringType), StructField ("count", LongType)))

учаю твиты из темы кафки с Avro (сериализатор и десериализатор). Затем я создаю искровой потребитель, который извлекает твиты в Dstream of RDD [GenericRecord]. Теперь я хочу преобразовать каждый rdd в фрейм данных для анализа этих твитов ...

1 ответ

Apache искра, имеющая дело с заявлениями случая

Я имею дело с преобразованием кода SQL в код PySpark и натолкнулся на некоторые операторы SQL. Я не знаю, как подойти к описанию случаев в pyspark? Я планиру...

1 ответ

Почему Apache Spark считывает ненужные столбцы Parquet во вложенных структурах?

Моя команда строит процесс ETL для загрузки необработанных текстовых файлов с разделителями в «озеро данных» на основе Parquet, используя Spark. Одно из обещ...

3 ответа

Spark: добавить столбец в dataframe условно

Я пытаюсь взять свои входные данные:

4 ответа

Обновление столбца данных в спарк

Глядя на новый API-интерфейс Spark Dataframe, неясно, можно ли изменить столбцы DataFrame.Как бы я изменил значение в строке