Resultados de la búsqueda a petición "hadoop"
Ejecutar hadoop en Mac OS
Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...
Almacenar datos en SequenceFile desde Apache Pig
Cerdo apache puede cargar datos de archivos de secuencia de Hadoop usando PiggyBankSequenceFileLoader: REGISTER /home/hadoop/pig/contrib/piggybank/java/piggybank.jar; DEFINE SequenceFileLoader ...
java.lang.OutOfMemoryError: no se pueden adquirir 100 bytes de memoria, obtuve 0
Invoco Pyspark con Spark 2.0 en modo local con el siguiente comando: pyspark --executor-memory 4g --driver-memory 4gEl marco de datos de entrada se está leyendo desde un archivo tsv y tiene 580 K x 28 columnas. Estoy haciendo algunas operaciones ...
Hadoop Map Reduce los objetos estáticos de referencia
Tengo un objeto estático en mi mapa que reduce la clase de trabajo que quiero inicializar una vez (en el método principal) y luego invoco una función en cada...
¿Puedo escribir un archivo HDFS (o local) de texto sin formato desde un programa Spark, no desde un RDD?
Tengo un programa Spark (en Scala) y unSparkContext. Estoy escribiendo algunos archivos conRDD'ssaveAsTextFile. En mi máquina local, puedo usar una ruta de archivo local y funciona con el sistema de archivos local. En mi clúster funciona con ...
Usar variable global en la clase reudcer
Necesito usar la variable global en mi programa mapreduce, cómo configurarla en el siguiente código y usar la variable global en el reductor.
Eliminar archivos de más de 10 días en HDFS
¿Hay alguna forma de eliminar archivos de más de 10 días en HDFS? En Linux usaría: find /path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \; ¿Hay alguna manera de hacer esto en HDFS? (La eliminación se realizará según ...