SparkR collect () и head () для Spark DataFrame: аргументы подразумевают различное количество строк

SparkR: разделить-применить-объединить в стиле dplyr на DataFrame

Как максимально эффективно «уменьшить» несколько таблиц json, хранящихся в столбце СДР, до одной таблицы СДР

Будет ли работать одновременный доступ к добавлению строк с использованием объединения в кадре данных с использованием следующего кода? В настоящее время ото...

ВНЕШНЕЕ ОБЪЕДИНЕНИЕ на 2 КАДРА ДАННЫХ: Spark Scala SqlContext

Я получаю сообщение об ошибке при выполнении внешних объединений на 2 кадра данных. Я пытаюсь получить процентиль.

Spark Dataframe проверяет имена столбцов для записи паркета (scala)

спасибо за любую помощь в решении этой проблемы

аюсь использовать искровое разделение. Я пытался сделать что-то вроде data.write.partitionBy("key").parquet("/location")Проблема здесь в каждом разделе создает огромное количество паркетных файлов, что приводит к медленному чтению, если я ...

Затем вы можете отсортировать столбец «Группа» в любом порядке. Приведенное выше решение почти имеет его, но важно помнить, что row_number начинается с 1, а не с 0.

ьзуя pyspark, я хотел бы иметь возможность сгруппировать фрейм данных spark, отсортировать группу, а затем указать номер строки. Так Group Date A 2000 A 2002 A 2007 B 1999 B 2015Станет Group Date row_num A 2000 0 A 2002 1 A 2007 2 B 1999 0 B 2015 1

Предположим, у вас есть датафрейм. df1 и если вы хотите соединить один и тот же кадр данных, вы можете использовать ниже

val rdd = sc.parallelize(Seq(("vskp", Array(2.0, 1.0, 2.1, 5.4)),("hyd",Array(1.5, 0.5, 0.9, 3.7)),("hyd", Array(1.5, 0.5, 0.9, 3.2)),("tvm", Array(8.0, 2.9, 9.1, 2.5)))) val df1= rdd.toDF("id", "vals") val rdd1 = ...

java.lang.IllegalStateException: не удалось получить экземпляр HMACSHA256. в com.microsoft.azure.documentdb.internal.BaseAuthorizationTokenProvider.generateKeyAuthorizationSignature (BaseAuthorizationTokenProvider.java:146) в com.microsoft.azure.documentdb.internal.BaseAuthorizationToken.Zure .DocumentClient.getAuthorizationToken (DocumentClient.java:3379) в com.microsoft.azure.documentdb.DocumentClient.putMoreContentIntoDocumentServiceRequest (DocumentClient.java:3356) в com.microsoft.azure.documentdb.DavaDentmentAjentjjentClientClientClient com.microsoft.azure.documentdb. (DocumentClient.java:327) на com.microsoft.azure.documentdb.DocumentClient. (Документация tClient.java:233) на com.microsoft.azure.documentdb.DocumentClient. (DocumentClient.java:135)

аюсь записать кадр данных Spark в Azure CosmosDB и настроил все правильные настройки, но при попытке записи данных получаю следующую ошибку. My Build.sbt name := "MyApp" version := "1.0" scalaVersion := "2.10.7" libraryDependencies ++= Seq( ...

СПАРК Является ли метод выборки на Датафреймах равномерной выборкой?

Я хочу произвольно выбрать число строк в кадре данных и знаю, что метод выборки делает это, но я обеспокоен тем, что моя случайность должна быть равномерной ...