Результаты поиска по запросу "scala"
да, но проблема в том, что все данные из cogroup попали в узел драйвера
я дваrdd's а именноval tab_a: RDD[(String, String)] а такжеval tab_b: RDD[(String, String)] я используюcogroup для таких наборов данных, как: val tab_c = tab_a.cogroup(tab_b).collect.toArray val updated = tab_c.map { x => { //somecode } }я ...
как новый объект будет создаваться каждый раз, что не то, что вы после. Я думаю, что должен быть лучший шаблон проектирования, чем передача актеров, на которые ссылаются, в конструкторе.
я есть сценарий, где у меня есть некоторые объекты, которые должны брать ссылки друг от друга. Единственный способ получить это для компиляции - использовать ленивый class A(b:B) class B(a:A) lazy val a:A = new A(b) lazy val b:B = new B(a)Я ...
это было более читабельно и легко для глаз. Я ценю, когда трудно читаемый код, особенно когда вы спешите понять, становится сжатым.
ользую Apache HTTPClient 4. Я делаю очень нормальные вещи, как это: val entity = new MultipartEntity(HttpMultipartMode.BROWSER_COMPATIBLE); entity.addPart("filename", new FileBody(new File(fileName), "application/zip").asInstanceOf[ContentBody]) ...
Я всегда находил это полезным:
у эта конструкция вызывает ошибку несоответствия типов в Scala? for (first <- Some(1); second <- List(1,2,3)) yield (first,second) <console>:6: error: type mismatch; found : List[(Int, Int)] required: Option[?] for (first <- Some(1); second <- ...
, что возвращает
инаю изучать Scala, и одна из вещей, которыми я заинтригована, этоOption тип и обещание быть в состоянии устранитьnull связанные ошибки. Однако я не смог понять, как преобразовать список (или другую коллекцию), скажем,Option[String], к ...
, Вы не можете использовать фрейм данных в трансформации, фреймы данных существуют только в драйвере.
я предоставляю свой код. Я перебираю DataFrameprodRows и для каждогоproduct_PK Я нахожу соответствующий подсписок product_PKs изprodRows. numRecProducts = 10 var listOfProducts: Map[Long,Array[(Long, Int)]] = Map() prodRows.foreach{ row : Row => ...
были предоставлены для таких случаев, когда мы знаем и полагаемся на конечную точку HTTP.
я есть топология akka-streams, где я делаю вызов POST, используя akka-http. Я получаю следующее сообщение об ошибке при отправке запроса на незащищенный сервер (с самозаверяющими сертификатами). Это внутренний сервер, так что я в порядке с точки ...
в блоге по ссылке и уже видел ответ Даниэля выше.
аюсь создать класс Vector, который является общим для всех числовых типов. моей первоначальной попыткой было написать класс для всех типов, например так: class Vector3f(val x:Float, val y:Float, val z:Float)Поскольку Scala поддерживает ...
Нет, когда логика тоже имеет некоторые недостатки. Я имею в виду способ, которым вы написали это, поскольку все генерирует ноль в столбце статуса. Вы можете попробовать и увидеть это сами. отлаживать и улучшать. Я думаю, вы можете сделать это. :)
ичок в искре / скале. Я пытаюсь прочитать некоторые данные из таблицы кустов в искровой фрейм данных, а затем добавить столбец на основе некоторого условия. Вот мой код: val DF = hiveContext.sql("select * from (select * from test_table ...
Как я могу использовать новый Slick 2.0 HList, чтобы преодолеть ограничение в 22 столбца?
В настоящее время я пишу код Slick для целевой старой схемы с двумя таблицами> 22 столбцов. Как яиспользуйте новый код HList [http://slick.typesafe.com/doc/2.0.0-M3/api/#scala.slick.collection.heterogenous.HList] ? У меня 2.0-M3 работает отлично ...