Добавить существующий лист Excel с новым фреймом данных, используя python pandas

В настоящее время у меня есть этот код. Работает отлично.

Он просматривает файлы Excel в папке, удаляет первые 2 строки, затем сохраняет их как отдельные файлы Excel, а также сохраняет файлы в цикле как добавленный файл.

В настоящее время добавленный файлперезаписывает существующий файл каждый раз, когда я запускаю код.

Мне нужно добавить новые данные в конецуже существующий лист Excel ( 'Master_data.xlsx)

dfList = []
path = 'C:\\Test\\TestRawFile' 
newpath = 'C:\\Path\\To\\New\\Folder'

for fn in os.listdir(path): 
  # Absolute file path
  file = os.path.join(path, fn)
  if os.path.isfile(file): 
    # Import the excel file and call it xlsx_file 
    xlsx_file = pd.ExcelFile(file) 
    # View the excel files sheet names 
    xlsx_file.sheet_names 
    # Load the xlsx files Data sheet as a dataframe 
    df = xlsx_file.parse('Sheet1',header= None) 
    df_NoHeader = df[2:] 
    data = df_NoHeader 
    # Save individual dataframe
    data.to_excel(os.path.join(newpath, fn))

    dfList.append(data) 

appended_data = pd.concat(dfList)
appended_data.to_excel(os.path.join(newpath, 'master_data.xlsx'))

Я думал, что это будет простая задача, но я думаю, что нет. Я думаю, что мне нужно ввести файл master_data.xlsx в качестве кадра данных, затем сопоставить индекс с новыми добавленными данными и сохранить его обратно. Или, может быть, есть более простой способ. Любая помощь приветствуется.

 MaxU28 июн. 2016 г., 13:19
являетсятот что вы после?
 brandog28 июн. 2016 г., 13:26
нет, не совсем, я не пытаюсь сохранить новые листы, просто пытаюсь добавить существующий лист.

Ответы на вопрос(1)

Решение Вопроса

Вспомогательная функция для добавления DataFrame ксуществующий Файл Excel:

def append_df_to_excel(filename, df, sheet_name='Sheet1', startrow=None,
                       truncate_sheet=False, 
                       **to_excel_kwargs):
    """
    Append a DataFrame [df] to existing Excel file [filename]
    into [sheet_name] Sheet.
    If [filename] doesn't exist, then this function will create it.

    Parameters:
      filename : File path or existing ExcelWriter
                 (Example: '/path/to/file.xlsx')
      df : dataframe to save to workbook
      sheet_name : Name of sheet which will contain DataFrame.
                   (default: 'Sheet1')
      startrow : upper left cell row to dump data frame.
                 Per default (startrow=None) calculate the last row
                 in the existing DF and write to the next row...
      truncate_sheet : truncate (remove and recreate) [sheet_name]
                       before writing DataFrame to Excel file
      to_excel_kwargs : arguments which will be passed to `DataFrame.to_excel()`
                        [can be dictionary]

    Returns: None
    """
    from openpyxl import load_workbook

    import pandas as pd

    # ignore [engine] parameter if it was passed
    if 'engine' in to_excel_kwargs:
        to_excel_kwargs.pop('engine')

    writer = pd.ExcelWriter(filename, engine='openpyxl')

    # Python 2.x: define [FileNotFoundError] exception if it doesn't exist 
    try:
        FileNotFoundError
    except NameError:
        FileNotFoundError = IOError


    try:
        # try to open an existing workbook
        writer.book = load_workbook(filename)

        # get the last row in the existing Excel sheet
        # if it was not specified explicitly
        if startrow is None and sheet_name in writer.book.sheetnames:
            startrow = writer.book[sheet_name].max_row

        # truncate sheet
        if truncate_sheet and sheet_name in writer.book.sheetnames:
            # index of [sheet_name] sheet
            idx = writer.book.sheetnames.index(sheet_name)
            # remove [sheet_name]
            writer.book.remove(writer.book.worksheets[idx])
            # create an empty sheet [sheet_name] using old index
            writer.book.create_sheet(sheet_name, idx)

        # copy existing sheets
        writer.sheets = {ws.title:ws for ws in writer.book.worksheets}
    except FileNotFoundError:
        # file does not exist yet, we will create it
        pass

    if startrow is None:
        startrow = 0

    # write out the new sheet
    df.to_excel(writer, sheet_name, startrow=startrow, **to_excel_kwargs)

    # save the workbook
    writer.save()

Примеры использования ...

Старый ответ: это позволяет вам написатьнесколько DataFrames в новый файл Excel.

Ты можешь использоватьopenpyxl двигатель в сочетании сstartrow параметр:

In [48]: writer = pd.ExcelWriter('c:/temp/test.xlsx', engine='openpyxl')

In [49]: df.to_excel(writer, index=False)

In [50]: df.to_excel(writer, startrow=len(df)+2, index=False)

In [51]: writer.save()

с: /temp/test.xlsx:

PS вы также можете указатьheader=None если вы не хотите дублировать имена столбцов ...

ОБНОВИТЬ: Вы также можете проверитьэто решение

 keramat16 янв. 2019 г., 16:26
он просто перезаписывает файл в указанном индексе, а не добавляется в конец существующего файла.
 trock200002 мар. 2019 г., 15:59
блестяще - почти целый день искал это точное решение, спасибо
 MaxU02 мар. 2019 г., 16:04
@ trock2000, рад, что помогает :)
 Mithril31 июл. 2018 г., 10:05
Если файл Excel очень большой, я только хочу добавить, что мне делать?
 brandog28 июн. 2016 г., 13:57
Ой, ой! Я скучаю по чтению. Да, это прекрасно отвечает на мой вопрос! Спасибо
 Mithril31 июл. 2018 г., 11:00
Мне просто интересно, если ваше решение эффективно для больших файлов. Потому что, похоже, сначала прочитайте весь файл.
 shanlodh11 мая 2019 г., 11:29
Очень полезная функция полезности, одно маленькое предложение: что-то вродеif startrow is not None then header = False чтобы заголовки столбцов не повторялись. Спасибо
 brandog28 июн. 2016 г., 13:41
Эй, спасибо, я должен использовать это. (На самом деле я не только удаляю 2 строки данных, это было просто заполнителем для большого объема форматирования.) Мне нужно добавить его в конец существующего листа без строки индекса.
 MaxU31 июл. 2018 г., 11:03
@ Мифрил, пожалуйста, дайте мне знать, если вы найдете решение, которое не читает весь файл и позволяет добавлять данные к существующему листу, а не перезаписывать его - я не смог найти такое решение.
 MaxU11 мая 2019 г., 15:37
@shanlodh, рад, что это помогает :) Спасибо за ваше предложение! Я не думаю, что это хорошая идея, чтобы отключить его таким образом, потому что он не позволит добавить DF с заголовком ниже существующего или если вы хотите сохранить существующие строки заголовка. Но это может быть легко достигнуто с помощью существующей функции:append_df_to_excel(filename, df, startrow=N, header=False) ;)
 MaxU28 июн. 2016 г., 13:56
@brandog, тогда вам нужно будет использоватьheader=None и вам нужно посчитать текущее количество строк в файле Excel и использовать его следующим образом:startrow=curr_count+1
 MaxU31 июл. 2018 г., 10:50
@ Мифрил, ты пробовал предоставленное решение?
 user189679622 авг. 2019 г., 14:33
@MaxU Не могли бы вы помочь мне в этом вопросеstackoverflow.com/questions/57609397/...
 brandog29 июн. 2016 г., 09:53
На самом деле, я просто работал над этим и понял, что вы правы. Мне нужен startrow = curr_count + 1, но у меня возникли проблемы с его реализацией, не могли бы вы отредактировать ответ выше, чтобы использовать этот метод?
 pes0427 мар. 2019 г., 01:09
@MaxU - спасибо за эту функцию, но по какой-то причине я получаю эту ошибку: AttributeError: у объекта 'list' нет атрибута 'find' - это проблема с openpyxl?

Ваш ответ на вопрос