Kann ich mit WGET eine Sitemap einer Website erstellen, deren URL angegeben ist?

Ich benötige ein Skript, das eine Website erkennen und die Liste aller gecrawlten Seiten im Nur-Text-Format oder in einem ähnlichen Format zurückgeben kann. die ich als sitemap bei suchmaschinen einreiche. Kann ich mit WGET eine Sitemap einer ...

Wie kann ein Programm ein anderes Programm steuern?

Wie wird Watson Conversation Api dazu gebracht, eine Webanwendungs-URL aufzurufen, wenn der Benutzer eine Eingabe eingibt?

Ich habe eine Spring-MVC-Anwendung und möchte, dass mein Benutzer einen Bot aufruft und der Bot basierend auf Benutzereingaben auf eine URL zugreift und basierend auf der Antwort eine Antwort gibt. Wie kann ich dies in Java erreichen?

Such-Crawler über JavaScript erkennen

Ich frage mich, wie ich bei der Erkennung von Such-Crawlern vorgehen soll. Der Grund, den ich frage, ist, dass ich bestimmte JavaScript-Aufrufe unterdrücken ...

Xcode Server Simulator wartet nach einer Wartezeit von 120 Sekunden nicht me

Ich arbeite daran, Xcode Server für die kontinuierliche Integration in Betrieb zu nehmen. Auf meinem Entwicklungscomputer wird Xcode 6.3.2 ausgeführt, und OS X Server 4.1 wird auf einem iMac mit der neuesten Version von Yosemite ausgeführt. Ich ...

Wie programmiere ich einen einfachen IRC-Bot in Python?

Ich brauche Hilfe beim Schreiben eines einfachen IRC-Bot, der nur eine Verbindung zu einem Kanal herstellt. Kann mir jemand das erklären? Es ist mir gelungen, eine Verbindung zum IRC-Server herzustellen, aber ich kann keinem Kanal beitreten und ...

Seltsamer Fehler mit Facebook Messenger Platform / bot Welcome Confugration

Beim Konfigurieren der Begrüßungsnachricht für meinen Messenger-Bot wird ein seltsamer Fehler angezeigt. Ich habe den gleichen Code verwendet (wie unten gezeigt) und er hat bis gestern Abend einwandfrei funktioniert. Ich habe es sowohl mit cURL ...

CasperJS: Proxy-Optionen im Code konfigurieren

Ich habe mich gefragt, wie wir cli-Parameter in unserem Code setzen können und nicht, indem wir sie wie folgt am Ende unseres Befehls einfügen: casperjs casper_tor.js --proxy=127.0.0.1:9050 --proxy-type=socks5Ich habe solche Dinge getestet, aber ...

Menschliche Mausbewegungen über Selen

Die Geschichte Einer der Lösungsansätze für Captchas wie Google ReCaptcha ist der Versuch,imitiere die Handlungen der menschlichen Maus: Bewegungen, Schweben und Klicken. Einige Benutzer haben @ gemelde ...

Alle Bots außer ein paar mit Nginx blockieren

Ich möchte alle http_user_agents blockieren, die sich als Bots identifizieren, aber Googlebot zulassen, wenn ich den folgenden Code eingebe: