用python编程读取TXT时,数据大概有1千万条,速度很慢如何解决?

本人初学python.目的是逐行读取数据,放在a的一维数组中。我编的程序如下
a=[]
with open('D:\XX.txt','r') as f:
for line in f:
a.extend(map(float,line.split(' ')))
读取数据量不大的TXT时,没有问题,但是数据量很大,速度就很慢了。是不是我的编程有问题??

两种可选的方式
1:使用yield的懒惰加载,示例代码如下:

123456789101112

def read_in_chunks(file_object, chunk_size=1024): """Lazy function (generator) to read a file piece by piece. Default chunk size: 1k.""" while True: data = file_object.read(chunk_size) if not data: break yield data f = open('really_big_file.dat')for piece in read_in_chunks(f): process_data(piece)

2:使用iter和一个帮助方法:

123456

f = open('really_big_file.dat')def read1k(): return f.read(1024) for piece in iter(read1k, ''): process_data(piece)

推荐使用第一个。
温馨提示:答案为网友推荐,仅供参考
第1个回答  2017-12-29
程序没什么问题, 只是内存占用会很大,估计你的机器跑不动. 建议用numpy库来处理, 具体用法请自行百度.
第2个回答  2013-08-27
用list慢 而且占空间 比如你开辟大小为10的list 可能是开辟了20空间的array 而且list extend时容量满了会开辟一个更大的空间 然后复制进去 再追加新的内容 你要非用list 就不要a = [] 直接写上大小更好 能减少很多复制的操作追问

你好,可否私下教我~

追答

可以 互相学习嘛

追问

我给你私信了

第3个回答  2017-08-16

其实上很简单,两行代码就可以搞定

>>> a=open(r'C:\Users\Administrator\Desktop\123.txt', 'r+')
>>> print a.readlines()

第4个回答  2017-08-23
一千万行,当然慢了。
考虑把文件拆分成多了小问题分别处理。
相似回答