Почему Spark OneHotEncoder по умолчанию отбрасывает последнюю категорию?

Я хотел бы понять, почему в OneHotEncoder от Spark по умолчанию отбрасывается последняя категория.Например:

SparkR vs sparklyr [закрыто]

Есть ли у кого-нибудь обзор относительно преимуществ / недостатков SparkR по сравнению со sparklyr? Google не дает удовлетворительных результатов, и оба кажу...

Как получить доступ к элементу столбца VectorUDT в кадре данных Spark?

У меня есть датафрейм

SparkSQL на таблицах HBase

Сохраняет ли spark все элементы RDD [K, V] для определенного ключа в одном разделе после «groupByKey», даже если данные для ключа очень большие?

Считайте, что у меня есть PairedRDD, скажем, 10 разделов. Но ключи распределены неравномерно, то есть все 9 разделов с данными принадлежат одному ключу, скажем

Как выбрать последнюю строку, а также как получить доступ к фрейму данных PySpark по индексу?

Является ли запрос к Spark DataFrame на основе CSV быстрее, чем к Parquet?

pyspark: NameError: имя 'spark' не определено

Spark: производительность запросов PySpark + Cassandra

Я настроил Spark 2.0 и Cassandra 3.0 на локальном компьютере (8 ядер, 16 ГБ ОЗУ) для тестирования и отредактировал

Ошибка: не найдено: значение горит / когда - искры скала

Я использую Scala, Spark, IntelliJ и Maven.Я использовал ниже код: