аюсь извлечь информацию из ряда различных поступлений, используя комбинацию Opencv, Tesseract и Keras. Конечным результатом проекта является то, что я смогу сфотографировать квитанцию ​​с помощью телефона и по этой фотографии получить название магазина, тип оплаты (карта или наличные), оплаченную сумму и изменить тендер.

До сих пор я выполнил несколько разных этапов предварительной обработки для серии различных образцов квитанций с использованием Opencv, таких как удаление фона, удаление шума и преобразование в двоичное изображение, и у меня осталось изображение, такое как следующее:

Затем я использую Tesseract, чтобы выполнить ocr для квитанции и записать результаты в текстовый файл. Мне удалось заставить ocr работать на приемлемом уровне, поэтому я могу сейчас сфотографировать квитанцию ​​и запустить на ней свою программу, и я получу текстовый файл, содержащий весь текст на квитанции.

Моя проблема в том, что мне не нужен весь текст в квитанции, я просто хочу получить определенную информацию, такую ​​как параметры, которые я перечислил выше. Я не уверен, как пройти обучение модели, которая будет извлекать нужные мне данные.

Правильно ли я считаю, что мне следует использовать Keras для сегментирования и классификации различных разделов изображения, а затем писать в файл текст в разделах, которые моя модель классифицировала как содержащие соответствующие данные? Или есть лучшее решение для того, что мне нужно сделать?

Извините, если это глупый вопрос, это мой первый проект Opencv / машинного обучения, и я довольно далеко от моей глубины. Любая конструктивная критика будет высоко ценится.