python比较txt文档中每行文本之间重复词的个数

Question

如题所述

Answer 1

在处理文本文件时，我们经常需要比较两行文本之间的相似性，特别是找出重复的词汇。这里介绍一种使用Python来实现的方法。我们首先使用`open`函数打开文件并读取所有行，接着使用`readlines`函数获取所有行的内容。然后，利用`split`方法将每行文本分割成单词。为了去除重复的单词，可以将分割后的单词列表转换为集合。接下来，通过两个集合的交集操作，可以找出两个文本行中的共同单词。最后，利用`len`函数计算交集中单词的数量，即为重复的词数。

下面是一个具体的例子。假设有两行文本如下：

line1 = '颜色衣服简单适合大方质量款式舒服挺穿穿着'

line2 = '挺服务衣服态度快蛮合身质量物流服务态度好老板'

我们使用`set`和`split`方法处理这两行文本，并找出其中的共同词汇：

python

jiaoji = set(line1.split('')) & set(line2.split(''))

print(jiaoji)

print('重复词数:', len(jiaoji))

执行上述代码后，输出结果为：

{'衣服', '挺', '质量'}

重复词数: 3

通过这种方法，我们可以轻松地比较两行文本中重复的词汇数量。