Wie reiche ich einen Job über die REST-API ein?
Ich verwende Datastax Enterprise 4.8.3. Ich versuche, eine Quarz-basierte Anwendung zu implementieren, um Spark-Jobs aus der Ferne zu übermitteln. Während meiner Recherche bin ich auf folgende Links gestoßen:
Apache Spark Hidden REST APISpark-Funktion - Stellt ein stabiles Gateway für die Übermittlung von Anwendungen im eigenständigen Cluster-Modus bereit.Um die Theorie zu testen, habe ich versucht, den folgenden Codeausschnitt auf dem Masterknoten (IP: "spark-master-ip"; direkt auf der Shell) meines 2-Knoten-Clusters auszuführen (siehe Link 1 oben):
curl -X POST http://spark-master-ip:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
"appArgs" : [ "myAppArgument1" ],
"appResource" : "file:/home/local/sparkjob.jar",
"clientSparkVersion" : "1.4.2",
"environmentVariables" : {
"SPARK_ENV_LOADED" : "1"
},
"mainClass" : "com.spark.job.Launcher",
"sparkProperties" : {
"spark.jars" : "file:/home/local/sparkjob.jar",
"spark.driver.supervise" : "false",
"spark.app.name" : "MyJob",
"spark.eventLog.enabled": "true",
"spark.submit.deployMode" : "cluster",
"spark.master" : "spark://spark-master-ip:6066"
}
}'
Aber beim Ausführen des Codes erhalte ich eine HTML-Antwort mit dem folgenden Text:
This Page Cannot Be Displayed
The system cannot communicate with the external server (spark-master-ip).
The Internet server may be busy, may be permanently down, or may be unreachable because of network problems.
Please check the spelling of the Internet address entered.
If it is correct, try this request later.
If you have questions, please contact your organization's network administrator and provide the codes shown below.
Date: Fri, 11 Dec 2015 13:19:15 GMT
Username:
Source IP: spark-master-ip
URL: POST http://spark-master-ip/v1/submissions/create
Category: Uncategorized URLs
Reason: UNKNOWN
Notification: GATEWAY_TIMEOUT