Como usar gems não em um Gemfile ao trabalhar com o bundler?

Ao usar o bundler com um projeto em geral e o Rails especificamente, você tem acesso somente a gems definidas no seu Gemfile. Enquanto isso faz sentido, pode ser limitante. Principalmente, acho que é limitado quando quero usar um determinado formatador RSpec que o resto da equipe não usa. A menos que esteja no Gemfile, não é acessível.

Qualquer maneira de contornar isso ou eu tenho que adicioná-lo ao Gemfile?

Atualização: meu problema não era Bundler, mas sim Spork. Ao executar o RSpec sem o Spork, não tive problema em usar o formatador que eu queria.

Atualização 2: parece que usar o Bundler ainda é a causa do problema. A diferença entre usar o Spork e não usar o Spork é que, ao executar o RSpec sem o Spork, ele carrega o formatador antes de carregar o projeto e entrar na "sandbox" do Bundler.

Com Bundler:

$ bundle exec irb
>> require 'fivemat'
LoadError: cannot load such file -- fivemat

from (irb):1:in `require'
from (irb):1
from /Users/arikfr/.rvm/rubies/ruby-1.9.3-p194/bin/irb:16:in `<main>'

Sem Bundler:

$ irb
>> require 'fivemat'
=> true