¿Cómo me aseguro de que una determinada clase solo sea instanciada por una fábrica y no llamandonuevo ¿directamente?

EDITAR: Necesito que la fábrica sea una clase separada (para fines de inyección de dependencia), por lo que no puedo convertirla en un método estático de la clase que se instanciará, y por lo tanto no puedo hacernuevo privado.