В целях диагностики я регистрирую ServicePointManager.DefaultConnectionLimit. Однако, как ни странно, кажется, что он возвращает Int32.MaxValue (т.е. 2147483647).

Это противоречитДокументация MSDN на предмет:

Максимальное количество одновременных подключений, разрешенное объектом ServicePoint. Значением по умолчанию является 2.

Для контекста я получаю это значение в приложении ASP.Net 4, работающем на 4.6.1