Shell如何实现从文件中的第n行开始读取记录？

Question

现有一个文件datafile.dat，里头可能有上百万行的数据记录。由于文件太大，不可能一次把所有内容都加载下来，所以只能对其逐行读取并处理。为提高执行速度，考虑对这个大数据文件进行并发处理，即让脚本1处理第1-10W行，脚本2处理第10W-20W行……脚本10处理第90W~100W行。

这就需要在脚本n中把文件的行指针自动预先指向第n万行的记录后才能开始读取。请问shell中有没有这个功能呢？谢谢！

Answer 1

可以用C来实现，当然，实现的方法还是跳过这些行，如下：

FILE *fp = fopen("datafile.dat", "r");
if(fp == NULL) 
{
    printf("open file error!\n");
    exit(1);  
} 
while(!foef(fp))
{
    static int line_count = 0;
    memset(lines, 0, sizeof(lines)); 
    line_count ++;//第一次就是第一行
    /* 取每行的内容 */ 
    if(!fgets(lines, fp, 1024)
        break; 
    /* 小于100000就继续下一行 */ 
    if( line_count < 100000 )
        continue; 

    if( line_count >= 200000 )
        break;//大于20万就退出该循环
    ///下面是处理的过程。

}

 

这个简短程序就实现了取第10万行到第20万行的数据。这10万和20万可以用参数带入，比如这个程序运行名是do_proc，那参数可以这么带:

do_proc 100000 200000

Answer 2

tail -n -3 datafile.dat | head -n 30

从第3行开始取30行

sed -n '3,5p' datafile.dat

显示第3到5行

本回答被提问者采纳

Answer 3

好多命令都能实现，head, tail, sed, awk等，比如
awk 'NR > n' datafile.dat | (whaterver you want to do)
不过应该也是一行行读过去，丢掉（或者说不予处理）跳过的行

你要用文件指针，那估计你得自己写个程序了；实现你的功能不难，c程序，几十行足够