前言在工作中我們經常需要文本對比場景對比兩份文檔、配置文件差異自動化測試校驗返回文本變更文本查重、模糊匹配相似度自動找出哪里刪改、哪里新增Python 內置強大的文本比對工具無需復雜算法幾行代碼即可實現專業(yè)級文本對比。本篇博客涵蓋精準逐行對比、差異可視化、文本相似度計算、模糊匹配全部可直接運行。一、最簡單對比精準全等判斷適合場景只判斷是否一模一樣不需要看差異代碼示例a今天學習Python文本對比b今天學習Python文本對比c今天學習Python教程print(ab)# Trueprint(ac)# False業(yè)務常用忽略大小寫/空格defclean_text(s):returns.replace( ,).lower()print(clean_text(a)clean_text(c))優(yōu)點超快、零依賴缺點看不到具體哪里不一樣二、專業(yè)對比Python內置 difflib查看詳細差異Python 自帶difflib標準庫是文本對比神器可以精準輸出刪除的行新增的行修改的內容2.1 逐行文本差異對比importdifflib text1第一行內容 第二行內容 第三行內容 text2第一行內容 第二行【已修改】 第三行內容 第四行新增內容 # 分割成行l(wèi)ines1text1.splitlines(keependsTrue)lines2text2.splitlines(keependsTrue)diffdifflib.Differ()resultdiff.compare(lines1,lines2)print(.join(list(result)))輸出標識說明-舊文本存在、新文本刪除新文本新增內容無符號內容一致三、生成可視化對比網頁超實用difflib可以一鍵生成HTML對比頁面帶顏色高亮可直接瀏覽器打開。importdifflib text11、Python基礎 2、Python爬蟲 text21、Python基礎 2、Python數據分析 3、Python人工智能 diffdifflib.HtmlDiff()htmldiff.make_file(text1.splitlines(),text2.splitlines(),fromdesc舊文本,todesc新文本)withopen(diff.html,w,encodingutf-8)asf:f.write(html)print(對比網頁已生成)運行后打開diff.html即可看到紅色刪除內容綠色新增內容左右分欄對比非常適合工作匯報、自動化測試報告。四、文本相似度對比查重、模糊匹配很多場景不是判相等而是判相似度例如文章查重、語句匹配。代碼實現importdifflib s1Python文本對比教程s2Python文本比對教程s3Java開發(fā)教程m1difflib.SequenceMatcher(None,s1,s2)m2difflib.SequenceMatcher(None,s1,s3)print(s1-s2 相似度,round(m1.ratio(),2))print(s1-s3 相似度,round(m2.ratio(),2))輸出s1-s2 相似度 0.92 s1-s3 相似度 0.15可以結合閾值實現智能查重相似度0.8判定為高度相似相似度0.3判定為完全不同五、高級模糊匹配fuzzywuzzy原生庫精度有限工業(yè)級模糊匹配推薦fuzzywuzzy安裝pipinstallfuzzywuzzy python-Levenshtein代碼fromfuzzywuzzyimportfuzz a我喜歡Python文本對比b我非常喜歡Python文本對比技術print(fuzz.ratio(a,b))# 整體相似度print(fuzz.partial_ratio(a,b))# 局部匹配print(fuzz.token_sort_ratio(a,b))# 無序詞語匹配適合短句對比、文案查重、OCR文本比對、搜索匹配。六、各種對比方案選型總結方案特點適用場景字符串 極速精準簡單一致校驗difflib.Differ查看行差異文檔/代碼對比difflib.HTML可視化對比生成對比報告SequenceMatcher相似度打分簡單查重fuzzywuzzy超強模糊匹配文案、短句查重匹配總結精準一致判斷直接用需要看差異、改了哪里用內置difflib需要可視化報告用 HtmlDiff 生成網頁查重、模糊匹配用 SequenceMatcher / fuzzywuzzyPython 文本對比完全可以零算法基礎實現覆蓋 99% 工作場景。