Por que os picles binários anexados não funcionam?

Eu sei que isso não é exatamente como o módulo pickle foi projetado para ser usado, mas eu pensei que isso funcionaria. Estou usando o Python 3.1.2

Aqui está o código de plano de fundo:

import pickle

FILEPATH='/tmp/tempfile'

class HistoryFile():
    """
    Persistent store of a history file  
    Each line should be a separate Python object
    Usually, pickle is used to make a file for each object,
        but here, I'm trying to use the append mode of writing a file to store a sequence
    """

    def validate(self, obj):
        """
        Returns whether or not obj is the right Pythonic object
        """
        return True

    def add(self, obj):
        if self.validate(obj):
            with open(FILEPATH, mode='ba') as f:    # appending, not writing
                f.write(pickle.dumps(obj))
        else:
            raise "Did not validate"

    def unpack(self):
        """
        Go through each line in the file and put each python object
        into a list, which is returned
        """
        lst = []
        with open(FILEPATH, mode='br') as f:
            # problem must be here, does it not step through the file?
            for l in f:
                lst.append(pickle.loads(l))
        return lst

Agora, quando eu o executo, ele imprime apenas o primeiro objeto que é passado para a classe.

if __name__ == '__main__':

    L = HistoryFile()
    L.add('a')
    L.add('dfsdfs')
    L.add(['dfdkfjdf', 'errree', 'cvcvcxvx'])

    print(L.unpack())       # only prints the first item, 'a'!

Isso é porque está vendo um EOF inicial? Talvez o anexo seja destinado apenas para ascii? (nesse caso, por que está me deixando fazer mode = 'ba'?) Existe uma maneira muito mais simples de fazer isso?