Как обрабатывать большие двоичные данные в Clojure?
Как обрабатывать большие двоичные файлы данных в Clojure? Давайте предположим, что данные / файлы занимают около 50 МБ - достаточно мало для обработки в памяти (но не в простой реализации).
Следующий код корректно удаляет ^ M из небольших файлов, но выдаетOutOfMemoryError
для больших файлов (например, 6 МБ):
(defn read-bin-file [file]
(to-byte-array (as-file file)))
(defn remove-cr-from-file [file]
(let [dirty-bytes (read-bin-file file)
clean-bytes (filter #(not (= 13 %)) dirty-bytes)
changed? (< (count clean-bytes) (alength dirty-bytes))] ; OutOfMemoryError
(if changed?
(write-bin-file file clean-bytes)))) ; writing works fine
Кажется, чтоJava байтовые массивы не могут рассматриваться как последовательность как это крайне неэффективно.
С другой стороны, решения сaset
, aget
а такжеareduce
раздутые, уродливые и императивные, потому что вы не можете использовать библиотеку последовательностей Clojure.
Что мне не хватает?Как обрабатывать большие двоичные файлы данных в Clojure?