String # encode не исправляет ошибку «неверная последовательность байтов в UTF-8»
Я знаю, что существует множество подобных вопросов об этой ошибке, и я попробовал многие из них без удачи. У меня проблема связана с байтом\xA1
и бросает
ArgumentError: invalid byte sequence in UTF-8
Я попробовал следующее безуспешно:
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").sub('', '')
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").force_encoding('UTF-8').sub('', '')
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").encode('UTF-8').sub('', '')
Каждая строка выдает ошибку для меня. Что я делаю неправильно?
UPDATE:
Вышеуказанные строки не работают только в IRB. Однако я изменил свое приложение для кодирования строк файла CVS, используя тот же метод и аргументы String # encode, и получаю ту же ошибку при чтении строки изfile (примечание: это работает, если вы выполняете операции над одной и той же строкой без ввода-вывода).
bad_line = "col1\tcol2\tbad\xa1"
bad_line.sub('', '') # does NOT fail
puts bad_line # => col1 col2 bad?
tmp = Tempfile.new 'foo' # write the line to a file to emulate real problem
tmp.puts bad_line
tmp.close
tmp2 = Tempfile.new 'bar'
begin
IO.foreach tmp.path do |line|
line.encode!('UTF-8', :undef => :replace, :invalid => :replace, :replace => "")
line.sub('', '') # fail: invalid byte sequence in UTF-8
tmp2.puts line
end
tmp2.close
# this would fail if the above error didn't halt execution
CSV.foreach(tmp2.path) do |row|
puts row.inspect # fail: invalid byte sequence in UTF-8
end
ensure
tmp.unlink
tmp2.close
tmp2.unlink
end