Esta pergunta já tem uma resposta aqui:

Eu quero usar data.table para processar um arquivo muito grande. Não cabe na memória. Eu pensei em ler o arquivo em pedaços usando um loop com (aumentando corretamente o parâmetro skip).

fread("myfile.csv", skip=loopindex, nrows=chunksize) 

processando cada um desses blocos e anexando a saída resultante com fwrite.

Para fazê-lo corretamente, preciso saber o número total de linhas, sem ler o arquivo inteiro.

Qual é a maneira correta / mais rápida de fazer isso?

Só posso pensar em ler apenas a primeira coluna, mas talvez haja um comando ou truque especial. ou talvez exista uma maneira automática de detectar o final do arquivo.