用python读取一个txt里的文件时，怎么去重复？

Question

如题所述

Answer 1

用集合，Python里的set 其定义就是一个无序不重复集合。

你可以按单词存入一个集合之中，集合会自动帮你去重的

Answer 2

定义一个set()
每次读一行内容， 就add进set里面

set1 = set()
file1 = open('***.txt','r')
lines = file1.readlines()
for line in lines:
line = line.rstrip()

set1.add(line)

for set11 in set:
print set11

Answer 3

for i in set( x for x in open( '1.txt' ).read( ).replace( '\n' ,' ' ).split( ' ' ) if x ):
print( i )

1.txt保存需要筛选的数据

Answer 4

什么叫重复？追问

比如 txt文件是北京 上海 广州 北京 天津 上海 天津
我输入的只想要输出 北京 上海 广州 天津 ，不想要重复的部分