Resultados de la búsqueda a petición "sbt"
Se ignora el archivo de propiedades log4j incluido en jar en la aplicación spark
Necesito leer un log4j.properties personalizado de src / resources y esto no funciona try{ val inStream :InputStream= className.this.getClass.getClassLoader.getResourceAsStream("log4j.properties"); logCfgProps.load(inStream) } catch { case e: ...
¿Cómo agregar un directorio personalizado al proyecto Scala SBT?
Tenemosconf directorio en nuestro proyecto que está bien, pero uno de los nuevos componentes requiere que se coloque su propia configuración enconfig directorio y no podemos cambiar ese requisito. En mi build.scala agregué la ...
¿Cómo configurar un entorno de desarrollo local para que Scala Spark ETL se ejecute en AWS Glue?
Me gustaría poder escribirScala en mi IDE local y luego implementarlo en AWS Glue como parte de un proceso de compilación. Pero tengo problemas para encontrar las bibliotecas necesarias para construir elGlueApp esqueleto generado por ...
value toDF no es miembro de org.apache.spark.rdd.RDD
Excepción val people = sc.textFile("resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF() value toDF is not a member of org.apache.spark.rdd.RDD[Person]Aquí estáTestApp.scala archivo: package main.scala import ...
Tarea SBT sourceGenerators: ejecutar solo si un archivo cambia
En mi proyecto SBT, tengo un archivo de entradasrc/main/greeting/Greeting.txt con el siguiente contenido: Hello, world!Este es mibuild.sbt que genera la fuente Scala a partir deGreeting.txt archivo: sourceGenerators in Compile += Def.task{ ...
Configure sbt para no utilizar el directorio de inicio del usuario
La semana pasada cambiamos los permisos del directorio de usuarios en nuestros servidores CI y ya no tenemos acceso de escritura al directorio de inicio del usuario. Por lo tanto, sbt no se inicia porque no puede escribir en~/.ivy etc con el ...
¿Por qué falla el compilador Scala con "no se puede acceder al objeto SparkConf en el paquete spark en el paquete org.apache.spark"?
No puedo acceder aSparkConf en el paquete. Pero ya importé elimport org.apache.spark.SparkConf. Mi código es: import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import ...
IntelliJ no puede resolver el símbolo en build.sbt
IntelliJ IDEA 15 informa un símbolo no resuelto para la definición de mi proyecto en mibuild.sbt archivo lazy val root = (project in file(".")).enablePlugins(PlayScala)Está informando un error conproject yin. Cannot resolve symbol project. ...
¿Por qué falla la compilación sbt con StackOverflowError?
Estoy trabajando en un proyecto Scala que existe desde hace unos años pero que es nuevo para mí. Mi tarea es actualizarlo de Scala 2.9.3 a 2.11.7, junto con sus dependencias. He superado los errores y advertencias, pero no puedo hacer que el ...
¿Cómo usar múltiples versiones de una biblioteca en Scala?
Estoy usando una biblioteca que dice A en Scala que depende de la versión x.11 de otra biblioteca que dice Z. Ahora, también estoy usando una biblioteca que dice B que depende de la versión x.31 de Z. Esto lleva a un error de compilación porque ...