дал скрипт pyspark, который прекрасно работает, когда я выполняю его сspark-submit:

spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.11:2.0.6 --conf spark.cassandra.connection.host=12.34.56.68 test_cassandra.py

Поскольку я работаю с фабрикой данных Azure, мне бы хотелось выполнить это задание и в ADF. Я создал следующую работу:

{
    "name": "spark write to cassandra",
    "type": "HDInsightSpark",
    "policy": {
        "timeout": "7.00:00:00",
        "retry": 0,
        "retryIntervalInSeconds": 30,
        "secureOutput": false
    },
    "typeProperties": {
        "rootPath": "dev/apps/spikes",
        "entryFilePath": "test_cassandra.py",
        "sparkConfig": {
            "packages": "datastax:spark-cassandra-connector:2.0.7-s_2.10",
            "conf": "spark.cassandra.connection.host=12.34.56.78"
        },
        "sparkJobLinkedService": {
            "referenceName": "linkedServiceStorageBlobHDI",
            "type": "LinkedServiceReference"
        }
    },
    "linkedServiceName": {
        "referenceName": "linkedServiceHDI",
        "type": "LinkedServiceReference"
    }
}

Я думал, что этого будет достаточно, но, видимо, проблема с пакетом. Я получил ошибку:

java.lang.ClassNotFoundException: не удалось найти источник данных: org.apache.spark.sql.cassandra. Пожалуйста, найдите пакеты наhttps://cwiki.apache.org/confluence/display/SPARK/Third+Party+Projects

Можете ли вы помочь мне правильно настроить свою деятельность, чтобы она работала?