Ciąg # koduje, nie naprawiając „nieprawidłowej sekwencji bajtów w UTF-8”
Wiem, że istnieje wiele podobnych pytań na temat tego błędu i próbowałem wielu z nich bez szczęścia. Problem, który mam, dotyczy bajtu\xA1
i rzuca
ArgumentError: niepoprawna sekwencja bajtów w UTF-8
Bez powodzenia wypróbowałem następujące rzeczy:
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").sub('', '')
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").force_encoding('UTF-8').sub('', '')
"\xA1".encode('UTF-8', :undef => :replace, :invalid => :replace,
:replace => "").encode('UTF-8').sub('', '')
Każda linia rzuca mi błąd. Co ja robię źle?
AKTUALIZACJA:
Powyższe linie zawodzą tylko w IRB. Zmodyfikowałem jednak moją aplikację, aby kodowała linie pliku CVS przy użyciu tej samej metody i argumentów String # encode i otrzymuję ten sam błąd podczas odczytu linii zplik (uwaga: działa, jeśli wykonujesz operacje na tym samym łańcuchu bez użycia IO).
bad_line = "col1\tcol2\tbad\xa1"
bad_line.sub('', '') # does NOT fail
puts bad_line # => col1 col2 bad?
tmp = Tempfile.new 'foo' # write the line to a file to emulate real problem
tmp.puts bad_line
tmp.close
tmp2 = Tempfile.new 'bar'
begin
IO.foreach tmp.path do |line|
line.encode!('UTF-8', :undef => :replace, :invalid => :replace, :replace => "")
line.sub('', '') # fail: invalid byte sequence in UTF-8
tmp2.puts line
end
tmp2.close
# this would fail if the above error didn't halt execution
CSV.foreach(tmp2.path) do |row|
puts row.inspect # fail: invalid byte sequence in UTF-8
end
ensure
tmp.unlink
tmp2.close
tmp2.unlink
end