Я знаю, что существует бесконечное количество потоков, задающих этот вопрос, но я не смог найти один, который может помочь мне в этом.

Я в основном пытаюсь проанализировать список из примерно 10 000 000 URL-адресов, убедиться, что они действительны по следующим критериям, а затем получить URL-адрес корневого домена. Этот список содержит практически все, что вы можете себе представить, включая такие вещи, как (и ожидаемый форматированный URL):

<code>biy.ly/test [VALID] [return - bit.ly]
example.com/apples?test=1&id=4 [VALID] [return - example.com]
host101.wow404.apples.test.com/cert/blah [VALID] [return - test.com]
101.121.44.xxx [**inVALID**] [return false]
localhost/noway [**inVALID**] [return false]
www.awesome.com [VALID] [return - awesome.com]
i am so awesome [**inVALID**] [return false]
http://404.mynewsite.com/visits/page/view/1/ [VALID] [return - mynewsite.com]
www1.151.com/searchresults [VALID] [return - 151.com]
</code>

У кого-нибудь есть предложения по этому поводу?