要用python从几百万行数据的文件一行行读数据并计算，如何处理最快,哪位大牛可以指点一下

Question

如题，想找一种较快的算法

Answer 1

如果你的数据互相有关系的话，你就只能用readline一行完了之后再处理一行；
如果你的数据是每行不相干的，那你应该可以把文件分成几段，每段分配一个thread处理；
如果你的数据时每行不相干，而且你对数据的操作不很复杂的话，应该可以考虑用gpu来代替cpu并行处理。

Answer 2

应该用readline（），而不是readlines（）
f0=file('test.txt','r')
while True:
a=f0.readline()
print a
if a=='':break

python 速度确实不慢，有人测试过readline和sed有一拼本回答被提问者和网友采纳

Answer 3

a=open(filename).readlines()
for line in a:
.....