Результаты поиска по запросу "spark-dataframe"
Вы также можете попробовать это. Это может обрабатывать как пустое / пустое / нулевое
могу заменить пустые значения в столбцеField1 DataFramedf? Field1 Field2 AA 12 BBЭта команда не дает ожидаемого результата: df.na.fill("Field1",Seq("Anonymous"))Ожидаемый результат: Field1 Field2 Anonymous AA 12 BB
В чем разница между SparkSession и SparkContext? [Дубликат]
На этот вопрос уже есть ответ: Разница между SparkContext, JavaSparkContext, SQLContext и SparkSession? [/questions/43802809/difference-between-sparkcontext-javasparkcontext-sqlcontext-and-sparksession] 3 ответа Я знаю только разницу в версии, ...
java.lang.IllegalStateException: не удалось получить экземпляр HMACSHA256. в com.microsoft.azure.documentdb.internal.BaseAuthorizationTokenProvider.generateKeyAuthorizationSignature (BaseAuthorizationTokenProvider.java:146) в com.microsoft.azure.documentdb.internal.BaseAuthorizationToken.Zure .DocumentClient.getAuthorizationToken (DocumentClient.java:3379) в com.microsoft.azure.documentdb.DocumentClient.putMoreContentIntoDocumentServiceRequest (DocumentClient.java:3356) в com.microsoft.azure.documentdb.DavaDentmentAjentjjentClientClientClient com.microsoft.azure.documentdb. (DocumentClient.java:327) на com.microsoft.azure.documentdb.DocumentClient. (Документация tClient.java:233) на com.microsoft.azure.documentdb.DocumentClient. (DocumentClient.java:135)
аюсь записать кадр данных Spark в Azure CosmosDB и настроил все правильные настройки, но при попытке записи данных получаю следующую ошибку. My Build.sbt name := "MyApp" version := "1.0" scalaVersion := "2.10.7" libraryDependencies ++= Seq( ...
Ах, это здорово. Спасибо, майанк, но я приму ответ @pault, поскольку он определенно проще. Но спасибо вам обоим!
что я делаю ниже, я опускаю столбецA изDataFrame потому что я хочу применить преобразование (здесь я простоjson.loads строка JSON) и замените старый столбец на преобразованный. После преобразования я просто соединяю два результирующих фрейма ...
Замените все подстроки указанного строкового значения, которые соответствуют регулярному выражению с rep.
становить точность отображения в PySpark при вызове.show()? Рассмотрим следующий пример: from math import sqrt import pyspark.sql.functions as f data = zip( map(lambda x: sqrt(x), range(100, 105)), map(lambda x: sqrt(x), range(200, 205)) ) df ...
Вы можете продолжать так долго ...
новичок здесь. Недавно я начал играть с помощью spark на моей локальной машине на двух ядрах с помощью команды. pyspark - мастер местный [2] У меня есть 393 Мб текстового файла, который содержит почти миллион строк. Я хотел выполнить некоторые ...
Спасибо, ты сделал мой день. Решение абсолютно идеальное, и я могу хранить переменные, используя метод collect вместо show ().
я есть требование, где мне нужно подсчитать количество повторяющихся строк в SparkSQL для таблиц Hive. from pyspark import SparkContext, SparkConf from pyspark.sql import HiveContext from pyspark.sql.types import * from pyspark.sql import Row ...
Это предполагает, что продукты являются массивом структур. Если products является массивом массива, вы можете использовать следующее:
ющий код используется для извлечения рангов из столбцаproducts, Ранги являются вторыми числами в каждой паре[...], Например, в приведенном примере[[222,66],[333,55]] ряды66 а также55 для продуктов с ПК222 а также333соответственно. Но код в Spark ...
Вы можете использовать следующее, чтобы сгладить структуру. Explode не работает для struct, так как сообщения об ошибках.
я есть датафрейм, схема которого выглядит следующим образом: event: struct (nullable = true) | | event_category: string (nullable = true) | | event_name: string (nullable = true) | | properties: struct (nullable = true) | | | ErrorCode: string ...
во втором окне см. обновление
ужно выполнить описанную ниже операцию с кадрами данных, используя оконную функцию Lag and Lead. Для каждого ключа мне нужно выполнить приведенную ниже вставку и обновить в окончательном выводе Введите условие: 1. По умолчанию LAYER_NO = 0 ...