¿Cómo cargar CSV con marcas de tiempo en formato personalizado?

Tengo un campo de marca de tiempo en un archivo csv que cargo en un marco de datos usando la biblioteca spark csv. El mismo código funciona en mi máquina local con la versión Spark 2.0, pero arroja un error en Azure Hortonworks HDP 3.5 y 3.6. Lo ...

¿Cómo establecer el tamaño del bloque de datos en Hadoop? ¿Es ventajoso cambiarlo?

Si podemos cambiar el tamaño del bloque de datos en Hadoop, hágamelo saber cómo hacerlo. ¿Es ventajoso cambiar el tamaño del bloque? En caso afirmativo, avíseme ¿Por qué y cómo? Si no es así, ¿me avisas por qué y cómo?

Problema al conectar kafka desde afuera

Estoy usando hortonwork Sandbox para el servidor kafka tratando de conectar kafka desde eclipse con código java. Use esta configuración para conectarse al productor para enviar el ...

Las tablas de la colmena no se encuentran cuando se ejecuta en modo YARN-Cluster

Tengo una aplicación Spark (versión 1.4.1) en HDP 2.3. Funciona bien cuando se ejecuta en modo YARN-Client. Sin embargo, cuando se ejecuta en modo YARN-Cluster, la aplicación no puede encontrar ninguna de mis tablas de Hive. Presento la ...

permisos de archivos de usuario hadoop

Tengo un problema al configurar los permisos de archivos hadoop en hortonworks y cloudera. Mi requerimiento es: 1. create a new user with new group 2. create user directory in hdfs ( ex. /user/myuser ) 3. Now this folder ( in this case ...

Error de instalación: ftheader.h: No existe tal archivo o directorio

Pasar credenciales de HBase en oozie Java Action

Necesito programar una acción Java oozie que interactúe con hbase segura, por lo que necesito proporcionar credenciales hbase para la acción Java. Estoy usando un entorno seguro de hortonworks 2.2, mi flujo de trabajo XML es el ...

HBase en Hortonworks HDP Sandbox: no se puede obtener la dirección maestra de ZooKeeper

Descargué HDP 2.1 de hortonworks para virtualbox. Recibí el siguiente error al usar el shell Hbase en caso de un comando simple: crear 't1', {NAME => 'f1', VERSIONS => 5} ERROR de Hortonworks: no se puede obtener la dirección maestra de ...

Spark on YARN utiliza menos vcores

Estoy usando Spark en un clúster YARN (HDP 2.4) con la siguiente configuración: 1 Masternode64 GB de RAM (50 GB utilizables)24 núcleos (19 núcleos utilizables)5 esclavos64 GB de RAM (50 GB utilizables) cada uno24 núcleos (19 núcleos utilizables) ...

Las solicitudes se bloquean al utilizar el cliente Hifterver2 Thrift Java

Esta es una pregunta de seguimiento paraesta pregunta donde pregunto cuál es la API del cliente java de Hiveserver 2 thrift. Esta pregunta debería ser capaz ...