вы создаете столбец временной метки в spark и сохраняете его в паркет, вы получаете 12-байтовый целочисленный тип столбца (int96); Я собираю данные разбиты на 6 байтов для юлианского дня и 6 байтов для наносекунд в течение дня.

Это не соответствует ни одному паркетулогический тип, Таким образом, схема в файле партера не указывает на то, что столбец является чем-то иным, кроме целого числа.

Мой вопрос: как Spark узнает, что нужно загружать такой столбец как метку времени, а не большое целое число?