Результаты поиска по запросу "bigdata"
Как ускорить оценку GLM?
Я использую RStudio 0.97.320 (R 2.15.3) на Amazon EC2. Мой фрейм данных имеет 200 тыс. Строк и 12 столбцов. Я пытаюсь согласовать логистическую регрессию с примерно 1500 параметрами. R использует 7% ЦП и имеет 60 + ГБ памяти и все еще занимает ...
Как получить массив / пакет элементов из группы Hive оператором?
Я хочу сгруппировать по заданному полю и получить вывод с сгруппированными полями. Ниже приведен пример того, чего я пытаюсь достичь: Представьте себе таблицу с именем sample_table с двумя столбцами, как показано ниже: F1 F2 001 111 001 222 001 ...
обновление внешней таблицы Hive изменениями в HDFS
Допустим, я создал внешнюю таблицу Hive «myTable» из файла myFile.csv (находится в HDFS). myFile.csv меняется каждый день, тогда мне интересно также обновлять myTable один раз в день. Есть ли какой-нибудь HiveQL-запрос, который сообщает об ...
Это хорошая идея для создания ежедневных коллекций в mongodb
Является ли хорошей идеей создавать ежедневные коллекции для данных за определенный день (мы могли бы начать с каждого дня, а затем переходить на час, если данных слишком много). Существует ли ограничение на количество коллекций, которые мы можем ...
конвертировать data.frame в ff
Я хотел бы преобразовать data.frame в объект ff, используя as.ffdf, как описано Вот [https://stackoverflow.com/questions/15787221/how-can-i-apply-ffdf-to-non-atomic-data-frames] df.apr=as.data.frame(df.apr) # from data.table to data.frame ...
кластеризация очень большой набор данных в R
У меня есть набор данных, состоящий из 70000 числовых значений, представляющих расстояния в диапазоне от 0 до 50, и я хочу сгруппировать эти числа; однако, е...
Загрузите небольшую случайную выборку из большого файла CSV в кадр данных R
Обрабатываемый CSV-файл не помещается в память. Как можно прочитать ~ 20К случайных строк этого, чтобы сделать основную статистику по выбранному фрейму данных?
R: Расширение R-фактора в фиктивные столбцы для каждого факторного уровня
У меня довольно большой фрейм данных в R с двумя столбцами. Я пытаюсь сделать из
Как передать переменную Hive Conf в Hive UDF?
Я хочу передать переменную hive в переменную UDF.ниже приведен фрагмент кода.