Нечеткое сравнение строк

То, что я пытаюсь завершить, - это программа, которая читает файл и сравнивает каждое предложение в соответствии с исходным предложением. Предложение, которое идеально соответствует оригиналу, получит 1 балл, а предложение, которое является полностью противоположным, получит 0. Все другие нечеткие предложения получат оценку от 1 до 0.

Я не уверен, какую операцию использовать, чтобы позволить мне завершить это в Python 3.

Я включил образец текста, в котором текст 1 является оригиналом, а другие предыдущие строки - сравнения.

Text: Sample

Текст 1: Это была темная и бурная ночь. Я был один, сидя на красном стуле. Я был не совсем один, у меня было три кошки.

Текст 20: Это была темная и бурная ночь. Я был один, сидя на малиновом стуле. Я был не совсем один, так как у меня было три кошачьих // Должен набрать рекорд, но не 1

Текст 21: Это была темная и бурная ночь. Я был один, сидя на малиновой кафедре. Я был не совсем один, так как у меня было три кошачьих // Должен быть ниже, чем текст 20

Текст 22: Я был один, сидя на алой кафедре. Я был не совсем один, у меня было три кошачьих. Это была темная и бурная ночь. // Должен быть ниже, чем текст 21, но НЕ 0

Текст 24: Это была темная и бурная ночь. Я был не один. Я не сидел на красном стуле. У меня было три кошки. // Должен набрать 0!

Ответы на вопрос(4)

fuzzysetError: User Rate Limit Exceededfuzzywuzzy (difflibError: User Rate Limit Exceeded

from fuzzyset import FuzzySet
corpus = """It was a murky and stormy night. I was all alone sitting on a crimson chair. I was not completely alone as I had three felines
    It was a murky and tempestuous night. I was all alone sitting on a crimson cathedra. I was not completely alone as I had three felines
    I was all alone sitting on a crimson cathedra. I was not completely alone as I had three felines. It was a murky and tempestuous night.
    It was a dark and stormy night. I was not alone. I was not sitting on a red chair. I had three cats."""
corpus = [line.lstrip() for line in corpus.split("\n")]
fs = FuzzySet(corpus)
query = "It was a dark and stormy night. I was all alone sitting on a red chair. I was not completely alone as I had three cats."
fs.get(query)
# [(0.873015873015873, 'It was a murky and stormy night. I was all alone sitting on a crimson chair. I was not completely alone as I had three felines')]

Предупреждение: будьте осторожны, чтобы не смешиватьunicodeError: User Rate Limit Exceededbytes в вашем нечетком.

Error: User Rate Limit ExceededError: User Rate Limit ExceededError: User Rate Limit Exceeded

Error: User Rate Limit Exceeded

Error: User Rate Limit ExceededError: User Rate Limit Exceeded. Install the software according to the GitHub guides and go to paraphrase detection section in readme:

import skipthoughts
model = skipthoughts.load_model()
vectors = skipthoughts.encode(model, X_sentences)

Error: User Rate Limit Exceeded

similarity = 1 - scipy.spatial.distance.cosine(vectors[0], vectors[1])

Error: User Rate Limit Exceeded1Error: User Rate Limit Exceeded1Error: User Rate Limit Exceeded

Error: User Rate Limit ExceededError: User Rate Limit Exceeded.

Error: User Rate Limit Exceeded

Есть пакет под названиемfuzzywuzzy, Установить через pip:

pip install fuzzywuzzy

Простое использование:

>>> from fuzzywuzzy import fuzz
>>> fuzz.ratio("this is a test", "this is a test!")
    96

Error: User Rate Limit Exceededdifflib, Вы спросите, почему бы просто не использовать это? Помимо того, что он немного проще, он имеет ряд различных методов сопоставления (например, нечувствительность к порядку следования токенов, частичное сопоставление строк), которые делают его более мощным на практике.process.extract функции особенно полезны: найти наиболее подходящие строки и соотношения из набора. Из их readme:

Partial Ratio

>>> fuzz.partial_ratio("this is a test", "this is a test!")
    100

Token Sort Ratio

>>> fuzz.ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
    90
>>> fuzz.token_sort_ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
    100

Token Set Ratio

>>> fuzz.token_sort_ratio("fuzzy was a bear", "fuzzy fuzzy was a bear")
    84
>>> fuzz.token_set_ratio("fuzzy was a bear", "fuzzy fuzzy was a bear")
    100

Process

>>> choices = ["Atlanta Falcons", "New York Jets", "New York Giants", "Dallas Cowboys"]
>>> process.extract("new york jets", choices, limit=2)
    [('New York Jets', 100), ('New York Giants', 78)]
>>> process.extractOne("cowboys", choices)
    ("Dallas Cowboys", 90)

В стандартной библиотеке есть модульdifflibError: User Rate Limit ExceededSequenceMatcher класс должен делать то, что вы после.

EDIT:Error: User Rate Limit Exceeded

>>> from difflib import SequenceMatcher as SM
>>> s1 = ' It was a dark and stormy night. I was all alone sitting on a red chair. I was not completely alone as I had three cats.'
>>> s2 = ' It was a murky and stormy night. I was all alone sitting on a crimson chair. I was not completely alone as I had three felines.'
>>> SM(None, s1, s2).ratio()
0.9112903225806451

НТН!

Ваш ответ на вопрос