Resultados de la búsqueda a petición "bigdata"
¿Cómo ver el archivo Apache Parquet en Windows?
No pude encontrar ninguna explicación sencilla en inglés sobre los archivos de Apache Parquet. Como ¿Qué sonNecesito Hadoop o HDFS para verlos / crearlos / almacenarlos? ¿Cómo puedo crear archivos de parquet? ¿Cómo puedo ver los archivos de ...
¿Es una buena práctica realizar consultas de sincronización de base de datos o llamadas relajantes en trabajos de Kafka streams?
Utilizo transmisiones de Kafka para procesar datos en tiempo real, en las tareas de transmisiones de Kafka, necesito acceder a MySQL para consultar datos y llamar a otro servicio tranquilo. Todas las operaciones son sincrónicas. Me temo que ...
jq: filtro de flujo en varios valores de la misma clave
Estoy procesando un JSON muy grande en el que necesito filtrar los objetos JSON internos utilizando el valor de una clave. Mi JSON tiene el siguiente ...
l tiempo de ejecución del trabajo de @Spark aumenta exponencialmente con un conjunto de datos muy amplio y un número de columnas [duplicado]
Esta pregunta es un duplicado exacto de: Importar archivo de ancho fijo de Park Gran cantidad de columnas que provocan un alto tiempo de ...
¿Cómo insisto en HDFS con chispa?
Tengo datos particionados en el HDFS. En algún momento decido actualizarlo. El algoritmo es: Lee los nuevos datos de un tema kafka. Encuentre nuevos nombres de partición de datos. Cargue los datos de las particiones con estos nombres que se ...
Trabajando con un gran archivo CSV en MATLAB
Tengo que trabajar con un gran archivo CSV, de hasta 2 GB. Más específicamente, tengo que cargar todos estos datos en la base de datos mySQL, pero antes de tener que hacer algunos cálculos sobre eso, entonces necesito hacer todo esto en MATLAB ...
Datastore para grandes datos de simulación de astrofísica
Soy un estudiante graduado en astrofísica. Ejecuto grandes simulaciones usando códigos desarrollados principalmente por otros durante una década más o menos. Para ver ejemplos de estos códigos, puede consultar ...
Cambiar de Mysql a MongoDB 200 millones de filas
Estamos intentando pasar de mysql a mongodb. la estructura de mysql es id_src int id_dest int clave única: id_src, id_dest Son unos 200 millones de filas en mysql data ejemplar: {id_src, id_dest} {1,2} {1,3} {1,10} {2,3} {2,10} {4,3} ...
Lectura de archivos almacenados en C ++
Me pregunto si leer un archivo de texto grande línea por línea (por ejemplo, std :: getline o fgets) puede almacenarse con un tamaño de búfer de lectura predefinido, o si uno debe usar funciones especiales de bytewise. Me refiero a leer ...
La mejor manera de eliminar millones de filas por ID
Necesito eliminar alrededor de 2 millones de filas de mi base de datos PG. Tengo una lista de ID que necesito eliminar. Sin embargo, cualquier forma en que intento hacer esto lleva días. Intenté ponerlos en una tabla y hacerlo en lotes de 100. ...