аюсь построить систему распознавания рукописного ввода, используя python и opencv. Распознавание символов - это не проблема, а сегментация. Я успешно:

сегментировал слово на отдельные символысегментированныйодно предложение в слова в необходимом порядке.

Но я не мог сегментировать разные строки в документе. Я попытался отсортировать контуры (чтобы избежать сегментации строк и использовать только сегментацию слов), но это не сработало. Я использовал следующий код для сегментирования слов, содержащихся в рукописном документе, но он возвращает слова не по порядку (возвращает слова в порядке сортировки слева направо):

import cv2
import numpy as np
#import image
image = cv2.imread('input.jpg')
#cv2.imshow('orig',image)
#cv2.waitKey(0)

#grayscale
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
cv2.imshow('gray',gray)
cv2.waitKey(0)

#binary
ret,thresh = cv2.threshold(gray,127,255,cv2.THRESH_BINARY_INV)
cv2.imshow('second',thresh)
cv2.waitKey(0)

#dilation
kernel = np.ones((5,5), np.uint8)
img_dilation = cv2.dilate(thresh, kernel, iterations=1)
cv2.imshow('dilated',img_dilation)
cv2.waitKey(0)

#find contours
im2,ctrs, hier = cv2.findContours(img_dilation.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

#sort contours
sorted_ctrs = sorted(ctrs, key=lambda ctr: cv2.boundingRect(ctr)[0])

for i, ctr in enumerate(sorted_ctrs):
    # Get bounding box
    x, y, w, h = cv2.boundingRect(ctr)

    # Getting ROI
    roi = image[y:y+h, x:x+w]

    # show ROI
    cv2.imshow('segment no:'+str(i),roi)
    cv2.rectangle(image,(x,y),( x + w, y + h ),(90,0,255),2)
    cv2.waitKey(0)

cv2.imshow('marked areas',image)
cv2.waitKey(0)

Пожалуйста, обратите внимание, что я могу сегментировать все слова здесьно они появляются в порядке. Есть ли способ отсортировать эти контуры в порядке сверху вниз

ИЛИ ЖЕ

Разбить изображение на отдельные строки, чтобы каждая строка могла быть разделена на слова с использованием приведенного выше кода?