Como carregar uma linha de cada vez a partir de um arquivo pickle?
Eu tenho um grande conjunto de dados: 20.000 x 40.000 como uma matriz numpy. Salvei-o como um arquivo de pickle.
Em vez de ler esse enorme conjunto de dados na memória, eu gostaria de ler apenas algumas (digamos 100) linhas por vez, para usar como minibatch.
Como posso ler apenas algumas linhas escolhidas aleatoriamente (sem substituição) de um arquivo pickle?