Я планирую ежедневно добавлять дополнительные данные в таблицу BigQuery. Каждый раз, когда я добавляю дополнительные данные в существующую таблицу, я хочу исключить дублирующиеся записи (на основе столбца первичного ключа) из существующих данных в таблице. Одним из подходов было бы

Соберите набор ключей из дополнительных данных (давайте назовем это)INCR_KEYSЗапустите запрос по строкам -SELECT all_cols from table where pkey_col NOT IN (INCR_KEYS) - и сохранить результаты в новой таблице.Добавьте добавочные данные в новую таблицу.

Меня беспокоит такой подход: он создает дубликат большой таблицы и добавляет к моим счетам.

Есть ли лучший способ достичь того же самого, не создавая дублирующуюся таблицу?