Результаты поиска по запросу "bigdata"
Не удалось инициализировать исключение кластера во время выполнения задания в Hadoop 2
Вопрос связан с моим предыдущим вопросом [https://stackoverflow.com/a/19571962/915751]Все демоны запущены, jps показывает: 6663 JobHistoryServer 7213 ResourceManager 9235 Jps 6289 DataNode 6200 NameNode 7420 NodeManagerноwordcount Пример ...
используя clojure-csv.core для разбора огромного CSV-файла
Пока что у меня есть: (:require [clojure-csv.core :as csv]) (:require [clojure.java.io :as io])) (def csv-file (.getFile (clojure.java.io/resource "verbs.csv"))) (defn process-csv [file] (with-open [rdr (io/reader file)] (csv/parse-csv rdr)))Но ...
Умножение матриц с использованием hdf5
Я пытаюсь умножить 2 большие матрицы с ограничением памяти, используя hdf5 (pytables), но функция numpy.dot, кажется, дает мне ошибку: Valueerror: массив слишком большой Мне нужно сделать матричное умножение самостоятельно, возможно, блочно, ...
Да и RavenDB. Выглядит интересно. Я не знаю, сможем ли мы принять удар на IO, хотя. Я думаю, что отрицательные отзывы были больше об отсутствии объяснения для списка продуктов. И все они ушли сейчас :)
ирант по астрофизике. Я запускаю большие симуляции, используя коды, в основном разработанные другими в течение десяти лет или около того. Для примеров этих кодов, вы можете проверить ...
Какова реальная разница между хранилищем данных и большими данными?
Я знаю, что такое хранилище данных и что такое большие данные. Но я запутался с хранилищем данных против больших данных. Оба одинаковы с разными именами или разные (концептуально и физически).
Я реализовал решение в реальном времени, которое вы предложили в течение последних нескольких часов. Я просто получаю отличные результаты. Обновление сводной коллекции происходит очень быстро и практически не снижает производительность, и я получаю счетчик обновлений в реальном времени. Спасибо !
таемся перейти от mysql к mongodb. Структура mysql является id_src int id_dest int уникальный ключ: id_src, id_dest Они около 200 миллионов строк в MySQL пример данных: {id_src, id_dest} {1,2} {1,3} {1,10} {2,3} {2,10} {4,3} Нам нужно получить ...
Hadoop 2 IOException только при попытке открыть файлы предполагаемого кэша
Я недавно обновил до hadoop 2.2 (используя этот учебникВот [http://codesfusion.blogspot.com/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1] ). Мой основной класс работы выглядит так, и выдает IOException: import java.io.*; import java.net.*; ...
агрегация с использованием функции ffdfdply в R
Я попытался агрегировать на большом наборе данных, используя пакет 'ffbase', используяffdfdply функция в R. допустим, у меня есть три переменные, которые называются Дата, Товар и Продажи. Здесь я хочу агрегировать продажи по дате и номеру, ...
Файл карты памяти в MATLAB?
Я решил использовать memmapfile, потому что мои данные (обычно от 30 ГБ до 60 ГБ) слишком велики, чтобы поместиться в памяти компьютера. Мои файлы данных состоят из двух столбцов данных, которые соответствуют выходным сигналам двух датчиков, и я ...
C ++ буферизованное чтение файлов
Интересно, можно ли буферизовать чтение большого текстового файла построчно (например, std :: getline или fgets) с предопределенным размером буфера чтения, или нужно использовать специальные побайтовые функции? Я имею в виду чтение очень больших ...