Resultados de la búsqueda a petición "large-data"
Centralidad de intermediación para datos de escala relativamente grande
Usando R, trato de calcular la centralidad de intermediación para aproximadamente 1 millón de nodos y más de 20 millones de bordes. Para hacerlo, tengo una máquina bastante decente con 128 GB de RAM y CPU de 4 * 2.40 GHz y ventanas de 64 bits. ...
¿Por qué MongoDB ocupa tanto espacio?
Estoy tratando de almacenar registros con un conjunto de dobles e ints (alrededor de 15-20) en mongoDB. La mayoría de los registros (99,99%) tienen la misma ...
R no pudo asignar memoria en el procedimiento ff. ¿Cómo?
Estoy trabajando en una máquina Windows Server 2008 de 64 bits con procesador Intel Xeon y 24 GB de RAM. Tengo problemas para intentar leer un archivo TSV (delimitado por tabulaciones) en particular de 11 GB (> 24 millones de filas, 20 columnas). ...
R - ¿Por qué agregar 1 columna a la tabla de datos casi duplica la memoria máxima utilizada?
Después de conseguirayuda [https://stackoverflow.com/questions/28279078/r-how-to-run-average-max-on-different-data-table-columns-based-on-multiple-f] de 2 caballeros amables, logré cambiar a las tablas de datos desde el marco de datos + plyr. La ...
MATLAB permutando columnas al azar de manera diferente
Tengo una matriz A muy grande con N filas y M columnas. Básicamente quiero hacer la siguiente operación for k = 1:N A(k,:) = A(k,randperm(M)); endPero rápido y eficiente. (Tanto M como N son muy grandes, y esto es solo un bucle interno en un ...
RANK o ROW_NUMBER en BigQuery en un gran conjunto de datos
Necesito agregar números de fila a un conjunto de datos grande (aproximadamente mil millones de filas) en BigQuery. Cuando lo intento: SELECT * ROW_NUMBER() OVER (ORDER BY d_arf DESC) plarf FROM [trigram.trigrams8] Obtengo "Recursos excedidos ...
Diseño de un algoritmo de clasificación de memoria externa
Si tengo una lista muy grande almacenada en la memoria externa que necesita ser ordenada. Asumiendo que esta lista es demasiado grande para la memoria interna, ¿qué factores principales deben considerarse al diseñar un algoritmo de clasificación ...
Inserte una gran cantidad de datos en BigQuery a través de la biblioteca bigquery-python
Tengo grandes archivos csv y archivos de Excel donde los leo y creo el script de creación de tabla necesario dinámicamente dependiendo de los campos y tipos que tenga. Luego inserte los datos en la tabla creada. he ...
R: xmlEventParse con gran entrada XML de nodo variable y conversión a marco de datos
Tengo ~ 100 archivos XML de datos de publicación cada uno> 10 GB con el siguiente formato: <?xml version="1.0" encoding="UTF-8"?> <records xmlns="http://website”> <REC rid=“this is a test”> <UID>ABCD123</UID> <data_1> ...