Resultados de la búsqueda a petición "spark-csv"
Spark DataFrame entrega una cadena vacía en OneHotEncoder
Estoy importando un archivo CSV (usando spark-csv) en unDataFrame que tiene vacioString valores. Cuando se aplica elOneHotEncoder, la aplicación se bloquea con errorrequirement failed: Cannot have an empty string for name.. ¿Hay alguna manera de ...
¿Cómo forzar inferSchema para CSV a considerar enteros como fechas (con la opción "dateFormat")?
Yo uso Spark 2.2.0 Estoy leyendo un archivo csv de la siguiente manera: val dataFrame = spark.read.option("inferSchema", "true") .option("header", true) .option("dateFormat", "yyyyMMdd") .csv(pathToCSVFile)Hay una columna de fecha en este ...
Scala: Spark SQL to_date (unix_timestamp) que devuelve NULL
Spark Version: spark-2.0.1-bin-hadoop2.7 Scala: 2.11.8 Estoy cargando un csv en bruto en un DataFrame. En csv, aunque se admite que la columna esté en formato de fecha, se escriben como 20161025 en lugar de 2016-10-25. El parámetrodate_format ...