Android: cómo eliminar un archivo de imagen interno

Lo que quiero hacer: eliminar un archivo de imagen del almacenamiento interno privado en mi aplicación. Guardo imágenes en el almacenamiento interno para que se eliminen al desinstalar la aplicación.

He creado y guardado con éxito:

String imageName = System.currentTimeMillis() + ".jpeg";
FileOutputStream fos = openFileOutput(imageName, Context.MODE_PRIVATE);
bitmap.compress(Bitmap.CompressFormat.JPEG, 35, fos);

una imagen que recibo a través de

bitmap = BitmapFactory.decodeStream(inputStream);

Puedo recuperar la imagen más tarde para mostrarla:

FileInputStream fis = openFileInput(imageName);
ByteArrayOutputStream bufStream = new ByteArrayOutputStream();
DataOutputStream outWriter = new DataOutputStream(bufStream);

int ch;
while((ch = fis.read()) != -1)
    outWriter.write(ch);

outWriter.close();
byte[] data = bufStream.toByteArray();
bufStream.close();
fis.close();

imageBitmap = BitmapFactory.decodeByteArray(data, 0, data.length);

Ahora quiero eliminar este archivo de forma permanente. He intentado crear un nuevo archivo y eliminarlo, pero no se encuentra el archivo:

File file = new File(imageName);
file.delete();

He leído en el sitio web para desarrolladores de Android que debo abrir archivos internos privados utilizando elopenFileInput(...) método que devuelve un InputStream que me permite leer el contenido, que realmente no me importa, solo quiero eliminarlo.

¿Alguien puede señalarme en la dirección correcta para eliminar un archivo que está almacenado en el almacenamiento interno?