Kodowanie znaków PHP piekło czytanie pliku CSV z fgets
Mam stronę internetową, która raz w miesiącu otrzymuje plik CSV przez FTP. Przez lata był to plik ASCII. Teraz otrzymuję UTF-8 jeden miesiąc, potem UTF-16BE następny i UTF-16LE miesiąc później. Może dostanę UTF-32 w przyszłym miesiącu. Fgets zwraca znak kolejności bajtów na początku plików UTF. Jak mogę zmusić PHP do automatycznego rozpoznawania kodowania znaków? Próbowałem mb_detect_encoding i zwrócił ASCII bez względu na typ pliku. Zmieniłem kod, aby przeczytać BOM i jawnie umieścić kodowanie znaków w mb_convert_encoding. Działało to aż do najnowszego pliku, który jest UTF-16LE. W tym pliku poprawnie odczytuje pierwszą linię, a wszystkie kolejne wiersze pokazują jako znaki zapytania („?”). Co ja robię źle?
$fhandle = fopen( $file_in, "r" );
if ( fhandle === false )
{
echo "<p class=redbold>Error opening file $file_in.</p>";
die();
}
$i = 0;
while( ( $line = fgets( $fhandle ) ) !== false )
{
$i++;
// Detect encoding on first line. Actual text always begins with string "Document"
if ( $i == 1 )
{
$line_start = substr( $line, 0, 4 );
$line_start_hex = bin2hex( $line_start );
$utf16_start = 'fffe4400';
$utf8_start = 'efbbbf44';
if ( strcmp( $line_start, 'Docu' ) == 0 )
{ $char_encoding = 'ASCII'; }
elseif ( strcmp( $line_start_hex, 'efbbbf44' ) == 0 )
{
$char_encoding = 'UTF-8';
$line = substr( $line, 3 );
}
elseif ( strcmp( $line_start_hex, 'fffe4400' ) == 0 )
{
$char_encoding = 'UTF-16LE';
$line = substr( $line, 2 );
}
elseif ( strcmp( $line_start_hex, 'feff4400' ) == 0 )
{
$char_encoding = 'UTF-16BE';
$line = substr( $line, 2 );
}
else
{
echo "<p class=redbold>Error, unknown character encoding. Line =<br>", $line_start_hex, '</p>';
require( '../footer.php' );
die();
}
echo "<p>char_encoding = $char_encoding</p>";
}
// Convert UTF
if ( $char_encoding != 'ASCII' )
{
$line = mb_convert_encoding( $line, 'ASCII', $char_encoding);
}
echo '<p>'; var_dump( $line ); echo '</p>';
}
Wydajność:
char_encoding = UTF-16LE
string(101) "DocumentNumber,RecordedTS,Title,PageCount,City,TransTaxAccountCode,TotalTransferTax,Description,Name
"
string(83) "???????????????????????????????????????????????????????????????????????????????????"
string(88) "????????????????????????????????????????????????????????????????????????????????????????"
string(84) "????????????????????????????????????????????????????????????????????????????????????"
string(80) "????????????????????????????????????????????????????????????????????????????????"