Чтобы добавить в качестве нового столбца:

ичок в программировании Scala, и это мой вопрос: как посчитать количество строк для каждой строки? Мой Dataframe состоит из одного столбца типа Array [String].

friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]

Ответы на вопрос(1)

Решение Вопроса

Вы можете использоватьsize функция:

val df = Seq((Array("a","b","c"), 2), (Array("a"), 4)).toDF("friends", "id")
// df: org.apache.spark.sql.DataFrame = [friends: array<string>, id: int]

df.select(size($"friends").as("no_of_friends")).show
+-------------+
|no_of_friends|
+-------------+   
|            3|
|            1|
+-------------+

Чтобы добавить в качестве нового столбца:

df.withColumn("no_of_friends", size($"friends")).show
+---------+---+-------------+
|  friends| id|no_of_friends|
+---------+---+-------------+
|[a, b, c]|  2|            3|
|      [a]|  4|            1|
+---------+---+-------------+

Ваш ответ на вопрос