Resultados de la búsqueda a petición "scala"
Uso de val perezoso para almacenar en caché la representación de cadena
Encontré el siguiente código en el número especial de JAXMag Scala: package com.weiglewilczek.gameoflife case class Cell(x: Int, y: Int) { override def toString = position private lazy val position = "(%s, %s)".format(x, y) }¿El uso delazy val ...
Cómo filtrar el marco de datos de Spark si una columna es miembro de otra columna
Tengo un marco de datos con dos columnas (una cadena y una matriz de cadenas): root |-- user: string (nullable = true) |-- users: array (nullable = true) | |-- element: string (containsNull = true)¿Cómo puedo filtrar el marco de datos para que ...
¿Cómo generar dinámicamente JSon en Gatling?
Tengo los siguientes dos métodos: def randomStartMethod() : Long = { var range = 1000L var r = ThreadLocalRandom.current().nextLong(10L*range) var randomStart = 1396024675000L + r return randomStart } def randomStopMethod() : Long = { var range ...
Unión condicional en Spark DataFrame
Estoy tratando de unir dosDataFrame Con condicion. Tengo dos marcos de datos A y B. A contiene columnas id, m_cd y c_cd B contiene columnas m_cd, c_cd y de registro Las condiciones son - Si m_cd es nulo, une c_cd de A con BSi m_cd no es nulo, ...
¿Cómo iterar scala wrapArray? (Chispa - chispear)
Realizo las siguientes operaciones: val tempDict = sqlContext.sql("select words.pName_token,collect_set(words.pID) as docids from words group by words.pName_token").toDF() val wordDocs = tempDict.filter(newDict("pName_token")===word) val ...
Descartar varias columnas del marco de datos de Spark iterando a través de las columnas de una lista Scala de nombres de columna
Tengo un marco de datos que tiene columnas alrededor de 400, quiero soltar 100 columnas según mi requisito. Así que he creado una Lista Scala de 100 nombres de columna. Y luego quiero iterar a través de un bucle for para soltar la columna en cada ...
Asociación de computación FPgrowth en pyspark vs scala
Utilizando : http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html [http://spark.apache.org/docs/1.6.1/mllib-frequent-pattern-mining.html] Código de Python: from pyspark.mllib.fpm import FPGrowth model = ...
cómo convertir una cadena json a un marco de datos en spark
Quiero convertir la variable de cadena a continuación en el marco de datos en spark. val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}"Sé cómo crear un marco de datos desde un archivo json. sqlContext.read.json("file.json")pero no sé ...
Spark 2.0 falta chispa implícita
Usando Spark 2.0, estoy viendo que es posible convertir un marco de datos de filas en un marco de datos de clases de casos. Cuando trato de hacerlo, recibí un mensaje que indicaba que debía importarspark.implicits._. El problema que tengo es que ...
No puedo empujar al heroku
Estaba empujando el repositorio git actual en el heroku. Esa aplicación en línea fue desarrollada usando Scala e IntelliJ. Y no sé cómo solucionar este error. $ git push heroku master Counting objects: 3, done. Delta compression using up to 4 ...