Результаты поиска по запросу "scala"
в случае text / json, если мой потоковый конвейер не работает, как новый потоковый конвейер знает, с чего начать использовать файлы?
у, чтобы spark постоянно отслеживал каталог и читал файлы CSV, используяspark.readStream как только файл появится в этом каталоге. Пожалуйста, не включайте решение Spark Streaming. Я ищу способ сделать это с помощью искровой структурированной ...
-1 Этот ответ должен быть длиной 3-5 предложений. Все до РЕДАКТИРОВАНИЯ - пустая трата времени.
сто столкнулся с трудностями при изучении Scala. У меня есть иерархия наследования, которая по существу эквивалентна этому: class A { protected def myMethod() = println("myMethod() from A") } class B extends A { def invokeMyMethod(a: A) = ...
циклы, реализующие показанный алгоритм Никиты. Вы можете извлечь выгоду из распараллеливания, но то же самое возможно в коде Никиты с очень небольшим количеством изменений.
роблема очень проста, но я еще не нашел эффективной реализации. Предположим, что есть матрица A, подобная этой: 0 0 0 0 0 0 0 4 4 2 2 2 0 0 4 4 2 2 2 0 0 0 0 2 2 2 1 1 0 0 0 0 0 1 1Теперь я хочу найти все начальные позиции прямоугольных ...
@ViduraMudalige это не правда, у него нет проверки во время компиляции на наличие столбцов
ираюсь добавить новый столбец в фрейм данных с выражением. например, у меня есть датафрейм +-----+----------+----------+-----+ | C1 | C2 | C3 |C4 | +-----+----------+----------+-----+ |steak|1 |1 | 150| |steak|2 |2 | 180| | fish|3 |3 | 100| ...
https://kevinlocke.name/bits/2012/10/03/ssl-certificate-verification-in-dispatch-and-asynchttpclient/
я есть следующий нерабочий код: object Main extends App { import dispatch._ def test(address: String) = { Await.result(Http.default(url(address).GET OK as.String), Duration.Inf) } // This works fine val s1 ...
Я думаю, что здесь также стоит отметить, что, как правило, для реализации JMS требуется внешний брокер, где Akka / Actors могут работать без внешнего брокера. Конечно, если вы хотите обмен сообщениями между процессами и хостами, вы бы выбрали соответствующий вариант.
разница с использованием Scala Actors вместо JMS? Например, с точки зрения производительности и масштабируемости, что добавляет модель Scala Actor по сравнению с JMS? В каких случаях имеет смысл использовать Actors, а не JMS, т.е. какие ...
Чтобы добавить в качестве нового столбца:
ичок в программировании Scala, и это мой вопрос: как посчитать количество строк для каждой строки? Мой Dataframe состоит из одного столбца типа Array [String]. friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
Лично я бы просто скачал файл и поместил его в распределенное хранилище.
азвивающая среда: IntellijспециалистScala2.10.6win7 x64зависимости: <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 --> <dependency> ...
Здесь в тексте данных - строка, разделенная вашим разделителем
я есть датафрейм, который имеет несколько многострочных наблюдений: +--------------------+----------------+ | col1| col2| +--------------------+----------------+ |something1 |somethingelse1 | |something2 |somethingelse2 | |something3 ...
Ответы у вас с Алексом самые лучшие - им не нужно группировать каждый элемент разбиения на одном узле
я есть проблема с Spark Scala, которую я хочу посчитать среднее из данных Rdd, я создаю новый RDD, как это, [(2,110),(2,130),(2,120),(3,200),(3,206),(3,206),(4,150),(4,160),(4,170)]Я хочу считать их ...