Это вопрос из двух частей:

Как вы можете расположить модально вертикально в центре, если вы не знаете точную высоту модала?

Возможно ли иметь модальное центрирование и иметь переполнение: auto в модальном теле, но только если модальное стекло превышает высоту экрана?

Я попытался с помощью этого:

.modal-dialog {
  height: 80% !important;
  padding-top:10%;
}

.modal-content {
  height: 100% !important;
  overflow:visible;
}

.modal-body {
  height: 80%;
  overflow: auto;
}

Это дает мне тот результат, который мне нужен, когда контент намного больше, чем вертикальный размер экрана, но для небольшого модального контента он практически бесполезен.