La respuesta a mi pregunta fue insinuada enesta pregunta, así que creo que la respuesta es deshabilitar la distribución automática para mi vista UIToolbar.

El código que se dice que funciona para las vistas es

cButton.translatesAutoresizingMaskIntoConstraints = YES;

Pero no estoy seguro de si se aplica a mi código ya que UIToolbar no hereda de UIView.

Tengo muchas imágenes pequeñas que utilizo en mis juegos que son de diferentes tamaños según el dispositivo y la orientación. En lugar de tener muchas imágenes diferentes y agregar nuevas cuando Apple presenta nuevos dispositivos, decidí hacer una imagen de 160x160 para cada una y luego cambiar su tamaño cuando se usa. Esto funcionó bien desde iOS 4 - iOS 10 pero falla en iOS 11.

El código es bastante sencillo:

// Get the image
NSString *pictFile = [[NSBundle mainBundle] pathForResource:@"Correct" ofType:@"png"];
UIImage *imageToDisplay = [UIImage imageWithContentsOfFile:pictFile];
UIImage *cImage  = [UIImage imageWithCGImage:imageToDisplay.CGImage scale:[UIScreen mainScreen].scale orientation:imageToDisplay.imageOrientation];

UIButton *cButton = [UIButton buttonWithType:UIButtonTypeCustom];
[cButton setImage:cImage forState:UIControlStateNormal];
[cButton setTitle:@"c" forState:UIControlStateNormal];

//set the frame of the button to the size of the image
cButton.frame = CGRectMake(0, 0, standardButtonSize.width, standardButtonSize.height);

//create a UIBarButtonItem with the button as a custom view
c = [[UIBarButtonItem alloc] initWithCustomView:cButton];

Esto es lo que parece pre11. Los elementos del botón de la barra se han redimensionado y encajan perfectamente en la barra inferior. Tenga en cuenta que reduje el tamaño de la marca de verificación en un 50% solo para asegurarme de que estaba mirando el código correcto y que se comporta como esperaba.

Así es como se ven en el simulador para Xcode 9.0 GM e iOS 11. Tenga en cuenta que la fila superior de botones cambia de tamaño correctamente pero la fila inferior se expande para llenar el espacio asignado para la barra de pestañas. El mismo comportamiento ocurre en iPads también y en varios dispositivos.

¿Alguna idea sobre cómo deshabilitar Autolayout o agregar restricciones?