я используюspark 1.5.2, Мне нужно запустить потоковую работу с использованием kafka в качестве источника потоковой передачи. Мне нужно читать из нескольких тем в Кафке и обрабатывать каждую тему по-разному.

Это хорошая идея сделать это в той же работе? Если это так, я должен создать один поток с несколькими разделами или другой поток для каждой темы?Я использую кафку прямой пар. Насколько я знаю, spark запускает долго работающие приемники для каждого раздела. У меня относительно небольшой кластер, 6 узлов с 4 ядрами в каждом. Если у меня будет много тем и разделов в каждой теме, повлияет ли это на эффективность, так как большинство исполнителей заняты долго работающими получателями?Пожалуйста, поправьте меня, если мое понимание здесь неверно