用python编程读取TXT时，数据大概有1千万条，速度很慢如何解决？

Question

本人初学python.目的是逐行读取数据，放在a的一维数组中。我编的程序如下
a=[]
with open('D:\XX.txt','r') as f:
for line in f:
a.extend(map(float,line.split(' ')))
读取数据量不大的TXT时，没有问题，但是数据量很大，速度就很慢了。是不是我的编程有问题？？

Answer 1

两种可选的方式
1：使用yield的懒惰加载，示例代码如下：

123456789101112

def read_in_chunks(file_object, chunk_size=1024): """Lazy function (generator) to read a file piece by piece. Default chunk size: 1k.""" while True: data = file_object.read(chunk_size) if not data: break yield data f = open('really_big_file.dat')for piece in read_in_chunks(f): process_data(piece)

2：使用iter和一个帮助方法：

123456

f = open('really_big_file.dat')def read1k(): return f.read(1024) for piece in iter(read1k, ''): process_data(piece)

推荐使用第一个。

Answer 2

程序没什么问题, 只是内存占用会很大,估计你的机器跑不动. 建议用numpy库来处理, 具体用法请自行百度.

Answer 3

用list慢 而且占空间 比如你开辟大小为10的list 可能是开辟了20空间的array 而且list extend时容量满了会开辟一个更大的空间 然后复制进去 再追加新的内容 你要非用list 就不要a = [] 直接写上大小更好 能减少很多复制的操作追问

你好，可否私下教我~

追答

可以 互相学习嘛

追问

我给你私信了

Answer 4

其实上很简单，两行代码就可以搞定

>>> a=open(r'C:\Users\Administrator\Desktop\123.txt', 'r+')
>>> print a.readlines()

Answer 5

一千万行，当然慢了。
考虑把文件拆分成多了小问题分别处理。