Sobrescribir particiones específicas en el método de escritura de trama de datos de chispa
Quiero sobrescribir particiones específicas en lugar de todas en chispa. Estoy intentando el siguiente comando:
df.write.orc('maprfs:///hdfs-base-path','overwrite',partitionBy='col4')
donde df es un marco de datos que tiene los datos incrementales que se sobrescribirán.
hdfs-base-path contiene los datos maestros.
Cuando pruebo el comando anterior, elimina todas las particiones e inserta las presentes en df en la ruta hdfs.
Mi requisito es sobrescribir solo aquellas particiones presentes en df en la ruta hdfs especificada. ¿Puede alguien ayudarme en esto?