Ich schreibe einen einfachen Crawler in Python mit den Modulen Threading und Queue. Ich hole eine Seite, überprüfe Links und stelle sie in eine Warteschlange. Wenn ein bestimmter Thread die Verarbeitung der Seite beendet hat, greift er zur nächsten Seite in der Warteschlange. Ich verwende ein Array für die Seiten, die ich bereits besucht habe, um die der Warteschlange hinzugefügten Links zu filtern. Wenn jedoch mehrere Threads vorhanden sind und dieselben Links auf verschiedenen Seiten angezeigt werden, werden doppelte Links in die Warteschlange gestellt. Wie kann ich also herausfinden, ob sich bereits eine URL in der Warteschlange befindet, um zu vermeiden, dass sie erneut dort abgelegt wird?