Кто-нибудь знает, есть ли способ во время преобразования посмотреть на соседние элементы в отсортированном СДР? Я знаю, что могу собрать, а затем выполнить такую ​​операцию, как в приведенном ниже примере, однако это как бы отрицательно сказывается на назначении распределенной системы, и я пытаюсь использовать тот факт, что она распределена.

Пример:

RDD of (имя строки, int val) отображается в RDD of (имя строки, int val, int diff)

такой что:

name | val     becomes ->      name | val | diff (current - prior)
a    | 3                       a    | 3   | 3
b    | 6                       b    | 6   | 3
c    | 4                       c    | 4   | -2
d    | 20                      d    | 20  | 16