Resultados de la búsqueda a petición "hadoop"

1 la respuesta

Ejecutar hadoop en Mac OS

Intento configurar para ejecutar Hadoop en Mac OS conbrew. Los pasos dados se proporcionan a continuación, Instalar en pchadoop con el comando,$brew install hadoop Dentro de la carpetausr/local/Cellar/hadoop/3.1.0/libexec/etc/hadoop y agregó ...

2 la respuesta

Almacenar datos en SequenceFile desde Apache Pig

Cerdo apache puede cargar datos de archivos de secuencia de Hadoop usando PiggyBankSequenceFileLoader: REGISTER /home/hadoop/pig/contrib/piggybank/java/piggybank.jar; DEFINE SequenceFileLoader ...

2 la respuesta

¿Está solo HBase en el sistema de archivos local obteniendo un error de guardián?

2 la respuesta

Convertir PL / SQL a Hive QL

4 la respuesta

java.lang.OutOfMemoryError: no se pueden adquirir 100 bytes de memoria, obtuve 0

Invoco Pyspark con Spark 2.0 en modo local con el siguiente comando: pyspark --executor-memory 4g --driver-memory 4gEl marco de datos de entrada se está leyendo desde un archivo tsv y tiene 580 K x 28 columnas. Estoy haciendo algunas operaciones ...

3 la respuesta

Hadoop Map Reduce los objetos estáticos de referencia

Tengo un objeto estático en mi mapa que reduce la clase de trabajo que quiero inicializar una vez (en el método principal) y luego invoco una función en cada...

4 la respuesta

¿Puedo escribir un archivo HDFS (o local) de texto sin formato desde un programa Spark, no desde un RDD?

Tengo un programa Spark (en Scala) y unSparkContext. Estoy escribiendo algunos archivos conRDD'ssaveAsTextFile. En mi máquina local, puedo usar una ruta de archivo local y funciona con el sistema de archivos local. En mi clúster funciona con ...

3 la respuesta

Usar variable global en la clase reudcer

Necesito usar la variable global en mi programa mapreduce, cómo configurarla en el siguiente código y usar la variable global en el reductor.

4 la respuesta

Error al establecer permisos de ruta: \ tmp

3 la respuesta

Eliminar archivos de más de 10 días en HDFS

¿Hay alguna forma de eliminar archivos de más de 10 días en HDFS? En Linux usaría: find /path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \; ¿Hay alguna manera de hacer esto en HDFS? (La eliminación se realizará según ...