Resultados de la búsqueda a petición "hadoop"
¿Cómo puedo forzar a Spark a ejecutar código?
¿Cómo puedo forzar a Spark a ejecutar una llamada al mapa, incluso si cree que no es necesario ejecutarlo debido a su evaluación diferida? He intentado ponercache() con la llamada al mapa, pero eso todavía no funciona. Mi método de mapa ...
Excepción en el subproceso "main" org.apache.hadoop.ipc.RemoteException: el servidor IPC versión 9 no puede comunicarse con el cliente versión 4. ¿Cómo resolver esto?
Estoy usando hadoop 2.7.0 y java oracle jdk1.7.0_79 con NetBeans IDE 8.0.2. Cuando intento comunicarme con Hadoop usando el archivo Java, aparece el siguiente error. ¿Hay algún problema de dependencia involucrado? ¿O cómo puedo resolver este ...
Error de Mapreduce: no se pudo configurar el directorio local
Estoy ejecutando mapreduce wordcount example en hadoop instalado en Windows 8. Obtuve el error de la siguiente manera. Suena como un problema de permiso de seguridad. Pero no estoy muy seguro. Agregué una propiedad al archivo yarn-site.xml ...
Hive 1.1.0 Alterar el tipo de partición de tabla de int a string
Tengo una tabla que tiene una partición de tipo int pero que quiero convertir a cadena. Sin embargo, no puedo entender cómo hacer esto. La descripción de la tabla es: Col1 timestamp Col2 string Col3 string Col4 string Part_col int # ...
Siempre aumentando la memoria física para una aplicación Spark en YARN
Estoy ejecutando una aplicación Spark en YARN que tiene dos ejecutores con Xms / Xmx como 32 GB y spark.yarn.excutor.memoryOverhead como 6 GB. Estoy viendo que la memoria física de la aplicación está aumentando y finalmente el administrador de ...
Configuración de classpaths de spark en EC2: spark.driver.extraClassPath y spark.executor.extraClassPath
Reducción del tamaño del archivo jar de la aplicación al proporcionar spark-classPath para las dependencias de Maven: Mi clúster tiene 3 instancias ec2 en las que se está ejecutando hadoop y spark. Si construyo jar con dependencias de maven, se ...
La interfaz de usuario de Hadoop muestra solo un Datanode
Comencé un clúster hadoop compuesto por 4 nodos maestros y esclavos. La configuración parece estar bien: hduser @ ubuntu-amd64: / usr / local / hadoop $ ./bin/hdfs dfsadmin -report [http://pastebin.com/6QfgKMmk] Cuando ingreso NameNode UI ...
Apache hive MSCK REPAIR TABLE nueva partición no agregada
Soy nuevo en Apache Hive. Mientras trabajo en una partición de tabla externa, si agrego una nueva partición directamente a HDFS, la nueva partición no se agrega después de ejecutar la tabla MSCK REPAIR. Debajo están los códigos que probé, - ...
¿Cómo configurar Hadoop en Docker Swarm?
Me gustaría poder iniciar un clúster de Hadoop en Docker, distribuyendo los nodos de Hadoop a los diferentes nodos físicos, utilizandoenjambre [https://docs.docker.com/engine/swarm/]. He encontrado la imagen secuencial que me permite ejecutar ...
¿Es posible restringir que un trabajo de MapReduce acceda a datos remotos?
Tenemos un algoritmo particular que queremos integrar con HDFS. El algoritmo requiere que accedamos a los datos localmente (el trabajo se realizaría exclusivamente en elMapper) Sin embargo, queremos aprovechar HDFS en términos de distribución del ...