Как ускорить оценку GLM?

Я использую RStudio 0.97.320 (R 2.15.3) на Amazon EC2. Мой фрейм данных имеет 200 тыс. Строк и 12 столбцов. Я пытаюсь согласовать логистическую регрессию с примерно 1500 параметрами. R использует 7% ЦП и имеет 60 + ГБ памяти и все еще занимает ...

Как получить массив / пакет элементов из группы Hive оператором?

Я хочу сгруппировать по заданному полю и получить вывод с сгруппированными полями. Ниже приведен пример того, чего я пытаюсь достичь: Представьте себе таблицу с именем sample_table с двумя столбцами, как показано ниже: F1 F2 001 111 001 222 001 ...

обновление внешней таблицы Hive изменениями в HDFS

Допустим, я создал внешнюю таблицу Hive «myTable» из файла myFile.csv (находится в HDFS). myFile.csv меняется каждый день, тогда мне интересно также обновлять myTable один раз в день. Есть ли какой-нибудь HiveQL-запрос, который сообщает об ...

Это хорошая идея для создания ежедневных коллекций в mongodb

Является ли хорошей идеей создавать ежедневные коллекции для данных за определенный день (мы могли бы начать с каждого дня, а затем переходить на час, если данных слишком много). Существует ли ограничение на количество коллекций, которые мы можем ...

конвертировать data.frame в ff

Я хотел бы преобразовать data.frame в объект ff, используя as.ffdf, как описано Вот [https://stackoverflow.com/questions/15787221/how-can-i-apply-ffdf-to-non-atomic-data-frames] df.apr=as.data.frame(df.apr) # from data.table to data.frame ...

кластеризация очень большой набор данных в R

У меня есть набор данных, состоящий из 70000 числовых значений, представляющих расстояния в диапазоне от 0 до 50, и я хочу сгруппировать эти числа; однако, е...

Загрузите небольшую случайную выборку из большого файла CSV в кадр данных R

Обрабатываемый CSV-файл не помещается в память. Как можно прочитать ~ 20К случайных строк этого, чтобы сделать основную статистику по выбранному фрейму данных?

R: Расширение R-фактора в фиктивные столбцы для каждого факторного уровня

У меня довольно большой фрейм данных в R с двумя столбцами. Я пытаюсь сделать из

Hive Table возвращает пустой набор результатов по всем запросам

Как передать переменную Hive Conf в Hive UDF?

Я хочу передать переменную hive в переменную UDF.ниже приведен фрагмент кода.