Resultados da pesquisa a pedido "spark-csv"
Scala: Spark SQL to_date (unix_timestamp) retornando NULL
Spark Version: spark-2.0.1-bin-hadoop2.7 Scala: 2.11.8 Estou carregando um CSV bruto em um DataFrame. No csv, embora a coluna seja compatível com o formato de data, eles são gravados como 20161025 em vez de 25/10/2016. O parâmetrodate_format ...
Spark DataFrame entregando String vazia no OneHotEncoder
Estou importando um arquivo CSV (usando spark-csv) para umDataFrame que está vazioString valores. Quando aplicado, oOneHotEncoder, o aplicativo trava com errorequirement failed: Cannot have an empty string for name.. Existe uma maneira de ...
Como forçar o inferSchema for CSV a considerar números inteiros como datas (com a opção "dateFormat")?
Eu uso o Spark 2.2.0 Estou lendo um arquivo csv da seguinte maneira: val dataFrame = spark.read.option("inferSchema", "true") .option("header", true) .option("dateFormat", "yyyyMMdd") .csv(pathToCSVFile)Há uma coluna de data neste arquivo e ...