Como empacotar fábricas em Java

Eu queria saber como empacotar as fábricas que tenho na minha aplicação. A Fábrica deve estar no mesmo pacote que as classes que a usam, no mesmo pacote que os objetos que cria ou em seu próprio pacote?

Obrigado pelo seu tempo e feedback