ользую структурированную потоковую передачу Spark для обработки больших объемов данных из очереди Kafka и выполняю некоторые сложные вычисления ML, но мне нужно записать результат в Elasticsearch.

Я пытался использоватьForeachWriter но не могу получитьSparkContext внутри него, другой вариант, вероятно, сделатьHTTP Post внутриForeachWriter.

Прямо сейчас, я думаю о написании моей собственной ElasticsearchSink.

Существует ли какая-либо документация для создания Sink для структурированной потоковой передачи Spark?