Resultados de la búsqueda a petición "hadoop"
No se puede iniciar un administrador de nodos en el maestro
Estoy configurando un clúster Hadoop YARN y estoy usando una máquina como maestro y esclavo. Cuando inicio el YARN usando el siguiente comando, inicia el administrador de nodos en esclavos pero no en el nodo maestro. sbin/yarn-daemons.sh start ...
¿Cómo desactivar el inicio de sesión INFO en Spark?
Instalé Spark usando la guía AWS EC2 y puedo iniciar bien el programa usando elbin/pyspark secuencia de comandos para llegar al indicador de chispa y también puede hacer el inicio rápido rápidamente. Sin embargo, no puedo por mi vida descubrir ...
El comando "hadoop fs -ls" no funciona.
Creo que he instalado hadoop correctamente. Si lo hagojps Puedo ver el namenode y datanode, no hay problema. Cuando escribohadoop fs -ls . Me sale el error: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded ...
hadoop java.net.URISyntaxException: ruta relativa en URI absoluto: rsrc: hbase-common-0.98.1-hadoop2.jar
Tengo un trabajo de reducción de mapa que se conecta a HBASE y no puedo entender dónde me encuentro con este error: Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native ...
Ejecute la consulta Hive con los parámetros de la cláusula IN en paralelo
Tengo una consulta de Hive como la siguiente: select a.x as column from table1 a where a.y in (<long comma-separated list of parameters>) union all select b.x as column from table2 b where b.y in (<long comma-separated list of parameters>)Yo he ...
Analizar CSV como DataFrame / DataSet con Apache Spark y Java
Soy nuevo en spark, y quiero usar group-by & reduce para encontrar lo siguiente de CSV (una línea por empleado): Department, Designation, costToCompany, State Sales, Trainee, 12000, UP Sales, Lead, 32000, AP Sales, Lead, 32000, LA Sales, Lead, ...
Rendimiento de consulta de colmena para campo de alta cardinalidad
Tengo una tabla única pero enorme en la colmena que casi siempre se consultará con la columna de clave principal (por ejemplo,employee_id) La tabla será realmente enorme, millones de filas insertadas cada día y quiero consultar rápidamente usando ...
leer todos los archivos de HDFS de forma recursiva en spark java api
Estoy usando spark para leer datos de todos los archivos de HDFS en un único RDD desde un directorio y también sus subdirectorios. No pude encontrar ningún método eficiente para hacer eso. Así que intenté escribir un código personalizado como se ...
Hadoop no puede conectarse a Google Cloud Storage
Estoy tratando de conectar Hadoop que se ejecuta en Google Cloud VM a Google Cloud Storage. Yo tengo: Se modificó el core-site.xml para incluir propiedades de fs.gs.impl y fs.AbstractFileSystem.gs.implDescargado y referenciado ...
Hadoop Map Reduce lee un archivo de texto
Estoy tratando de escribir un programa MapReduce que pueda leer un archivo de entrada y escribir la salida en otro archivo de texto. Estoy planeando usar la clase BufferedReader para esto. Pero realmente no sé cómo usarlo en un ...