Результаты поиска по запросу "apache-spark"
Как создать кодировщик для конструктора типа Option, например, Опция [Int]?
Можно ли использовать
MC-Стэн на Искре?
Я надеюсь использоватьMC-Стан [http://mc-stan.org/]наискра [http://spark.apache.org/], но, похоже, Google не ищет ни одной связанной страницы. Интересно, возможен ли такой подход на Spark, поэтому я был бы признателен, если бы кто-нибудь дал мне ...
Читайте целые текстовые файлы из сжатия в Spark
У меня следующая проблема: предположим, что у меня есть каталог, содержащий сжатые каталоги, которые содержат несколько файлов, хранящихся в HDFS. Я хочу соз...
Spark Scala: SELECT в цикле foreach возвращает java.lang.NullPointerException
Мне нужно перебирать содержимое DF с различными инструкциями SELECT внутри цикла foreach, записывая вывод в текстовые файлы. Любой оператор SELECT внутри цик...
PySpark построчная композиция функций
В качестве упрощенного примера у меня есть фрейм данных "df" со столбцами "col1, col2", и я хочу вычислить построчный максимум после прим...
spark: как сделать dropDuplicates на фрейме данных, сохраняя строку с самой высокой отметкой времени [duplicate]
На этот вопрос уже есть ответ здесь:Найти максимальный ряд на группу в Spark DataFrame 2 ответаУ меня есть случай использования, когда мне нужно было бы удал...