но я не пробовал это).
ю, что могу использовать собственный диалект для правильного отображения между моей базой данных и спарк, но как я могу создать собственную схему таблицы с конкретными типами данных поля и длины, когда я использую спаркjdbc.write параметры? Я хотел бы иметь детальный контроль над моими схемами таблиц, когда я загружаю таблицу из spark.
Ответы на вопрос(1)
Решение Вопроса
SPARK-10101 - Spark JDBC-писатель отображает строку в TEXT или VARCHARSPARK-10849 - Разрешить пользователю указывать тип столбца базы данных для полей фрейма данных при записи данных в источники данных jdbc
но если ты хочешь
иметь детальный контроль над моими схемами таблиц, когда я загружаю таблицу из spark.
вам, возможно, придется реализовать свой собственныйJdbcDialect, Это внутренний API разработчика, и, насколько я могу судить, он не подключаемый, поэтому вам могут понадобиться настроенные двоичные файлы Spark (возможно,registerDialect но я не пробовал это).