Resultados de la búsqueda a petición "large-data"
R - ¿Por qué agregar 1 columna a la tabla de datos casi duplica la memoria máxima utilizada?
Después de conseguirayuda [https://stackoverflow.com/questions/28279078/r-how-to-run-average-max-on-different-data-table-columns-based-on-multiple-f] de 2 caballeros amables, logré cambiar a las tablas de datos desde el marco de datos + plyr. La ...
MemoryError: cómo descargar archivos grandes a través de Google Drive SDK con Python
Me estoy quedando sin memoria al descargar archivos grandes de mi Google Drive. yo asumo esotmp = content.read(1024) no funciona, pero ¿cómo solucionarlo? Gracias. def download_file(service, file_id): drive_file ...
Agregar líneas a un archivo
Soy nuevo usando R. Estoy tratando de agregar nuevas líneas a un archivo con mis datos existentes en R. El problema es que mis datos son de aproximadamente 30000 filas y 13000 cols. Ya trato de agregar una línea con la función writeLines pero el ...
Diseño de un algoritmo de clasificación de memoria externa
Si tengo una lista muy grande almacenada en la memoria externa que necesita ser ordenada. Asumiendo que esta lista es demasiado grande para la memoria interna, ¿qué factores principales deben considerarse al diseñar un algoritmo de clasificación ...
Mejores estructuras de datos de indexación de raza para series de tiempo extremadamente grandes
Me gustaría pedirles a sus compañeros SO'ers sus opiniones sobre las mejores estructuras de datos de la raza que se utilizarán para indexar series de tiempo (también conocido como datos en columna, también conocido como lineal lineal). xisten ...
¿Cómo puedo analizar ~ 13GB de datos?
Tengo ~ 300 archivos de texto que contienen datos en rastreadores, torrents y compañeros. Cada archivo está organizado de esta manera:tracker.txt
Flujos de trabajo de "datos grandes" usando pandas
He intentado descifrar una respuesta a esta pregunta durante muchos meses mientras aprendía pandas. Uso SAS para mi trabajo diario y es excelente para el sop...
PHP y el bebé de millones de matrices
Imagina que tienes la siguiente matriz de enteros:
Archivo XML de 4 GB de análisis de flujo en PHP
Estoy intentando y necesito ayuda haciendo lo siguiente:Quiero transmitir un archivo XML grande (4 GB) con PHP. No puedo usar XML simple o DOM porque cargan ...