Resultados de la búsqueda a petición "hadoop"
Cómo cruzar unir unnest una matriz JSON en Presto
Dada una tabla que contiene una columna de JSON como esta: {"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]} {"payload":[{"type":"c","value":"7"}, {"type":"b","value":"3"}]}¿Cómo puedo escribir una consulta Presto para obtener el ...
Apache Hadoop Yarn - Subutilización de núcleos
No importa cuánto juegue con la configuración enyarn-site.xml es decir, usar todas las opciones a continuación yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodemanager.resource.cpu-vcores ...
Error de operación pseudodistribuida de Hadoop: la etiqueta del mensaje de protocolo tenía un tipo de cable no válido
Estoy estableciendo unHadoop 2.6.0 Clúster de nodo único. Yo sigo el documentación de hadoop-common / SingleCluster [https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html] . Yo trabajo enUbuntu 14.04. Hasta ...
Usando spark-submit, ¿cuál es el comportamiento de la opción --total-executeor-cores?
Estoy ejecutando un grupo de chispas sobre código C ++ envuelto en python. Actualmente estoy probando diferentes configuraciones de opciones de subprocesos múltiples (a nivel de Python o nivel de Spark). Estoy usando spark con binarios ...
Ajuste de consultas de colmena que utiliza la tabla HBase subyacente
Tengo una tabla en Hbase, digamos "tbl" y me gustaría consultarla usando Hive. Por lo tanto, asigné una tabla a la colmena de la siguiente manera: CREATE EXTERNAL TABLE tbl(id string, data map<string,string>) STORED ...
Si tengo un constructor que requiere una ruta a un archivo, ¿cómo puedo "falsificarlo" si está empaquetado en un jar?
El contexto de esta pregunta es que estoy tratando de usar la api maxmind java en un script de cerdo que he escrito ... Sin embargo, no creo que sea necesario saberlo para responder la pregunta. La API de maxmind tiene un constructor que ...
El inicio del modo Apache Spark YARN lleva demasiado tiempo (más de 10 segundos)
Estoy ejecutando una aplicación de chispa con el modo YARN-client o YARN-cluster. Pero parece que lleva demasiado tiempo iniciar. Se tarda más de 10 segundos en inicializar el contexto de chispa. ¿Esto es normal? ¿O puede ser optimizado? El ...
Archivo ORC de Hadoop - Cómo funciona - Cómo obtener metadatos
Soy nuevo en el archivo ORC. Revisé muchos blogs, pero no obtuve una comprensión clara. Por favor, ayuda y aclara las siguientes preguntas. ¿Puedo recuperar el esquema del archivo ORC? Sé que en Avro, el esquema puede ser recuperado. ¿Cómo ...
Obtener archivos en Hadoop en una aplicación web
Soy nuevo en Hadoop. En este momento estoy tratando de hacer una aplicación en eclipse en la que quiero usar los datos presentes en HDFS. Si queremos conectarnos a la base de datos con Java, tenemos conexión JDBC. De esta manera, ¿qué debo hacer ...
¿Hay alguna pérdida de memoria en HDFS si utilizamos archivos pequeños?
He tomado a continuación las citas de Hadoop: la guía definitiva: tenga en cuenta, sin embargo, que los archivos pequeños no ocupan más espacio en disco del necesario para almacenar el contenido sin formato del archivo. Por ejemplo, un archivo de ...