Acceda a archivos que comienzan con guión bajo en apache spark
Estoy tratando de acceder a archivos gz en s3 que comienzan con_
en Apache Spark. Desafortunadamente, spark considera que estos archivos son invisibles y regresaInput path does not exist: s3n:.../_1013.gz
. Si elimino el guión bajo, encuentra el archivo bien.
Intenté agregar un PathFilter personalizado a hadoopConfig:
package CustomReader
import org.apache.hadoop.fs.{Path, PathFilter}
class GFilterZip extends PathFilter {
override def accept(path: Path): Boolean = {
true
}
}
// in spark settings
sc.hadoopConfiguration.setClass("mapreduce.input.pathFilter.class", classOf[CustomReader.GFilterZip], classOf[org.apache.hadoop.fs.PathFilter])
Pero todavía tengo el mismo problema. ¿Algunas ideas?
Sistema: Apache Spark 1.6.0 con Hadoop 2.3