Necesito una función para obtener la altura del elemento más alto dentro de un div.

Tengo un elemento con muchos otros dentro (generado dinámicamente), y cuando pido la altura del elemento contenedor utilizando $ (elem) .height (), obtengo una altura menor que algunos de los contenidos que contiene. Algunos de los elementos en el interior son imágenes que son más grandes que el tamaño que este elemento dice tener.

Necesito saber el elemento más alto para poder obtener su altura.