提高linux脚本cpu和内存使用率

Question

我先用linux脚本处理文件，但是写完运行过程中发现，服务器分配给这个脚本的cpu和内存都不是很高，如果用perl的话， cpu使用率肯定到100%了，有什么方法提高cpu使用率? 那样的话，处理文件应该会快点了吧。 （renice好像作用不大）

Answer 1

linuxt提供了系统函数sysconf()用来读取CPU和内存信息，先来了解一下sysconf()函数吧。

头文件

#include<unistd.h>

函数原型

long sysconf (int name);

说明

sysconf() 返回选项 ( 变量) 的当前值，这个值可配置的但也是受系统限制的。在成功完成的情况下，sysconf() 返回 变量的当前值。该值受到的限制将少于编译时 <limits.h>， <unistd.h> 或 <time.h> 中可用的对应值。大多数这些 变量的值在调用进程的生存时间内不变。
如果出错，那么函数返回 -1 ，并适当地设置 errno 。当没有错误发生时， -1 也是一个合法的返回值。因此，程序要检查错误，应该在调用 sysconf() 之前将 errno 设置为 0 ，然后，如果返回 -1，则检验到错误。
参数 name 指定我们感兴趣的运行时限制的名字，它必须是以值中之一(除非另有说明，否则返回值都是整数)：
_SC_2_C_BIND : 一个布尔值，指出是否支持 POSIX C 语言绑定。返回值是 _POSIX2_C_BIND 。
_SC_2_C_DEV : 一个布尔值，指出是否支持 POSIX C 语言开发使用工具选项。返回值是 _POSIX2_C_DEV 。
_SC_2_C_VERSION : 它指出支持哪一个 ISO POSIX.2 标准 (命令) 的版本。返回值是 _POSIX2_C_VERSION 。
_SC_2_CHAR_TERM : 一个布尔值，指出是否至少支持一个 终端。返回值是 _POSIX2_CHAR_TERM 。
_SC_2_FORT_DEV : 一个布尔值，指出是否支持 FORTRAN 开发使用工具选项。返回值是 POSIX2_FORT_DEV 。
注意：1、 CLK_TCK 的值是可变的，因此，不应该假设它是一个 编译时间 常量。
2、调用 setrlimit 会使 OPEN_MAX 的值发生改变。
3、 通过将 sysconf (_SC_PHYS_PAGES) 和 sysconf (_SC_PAGESIZE) 相乘，来确定 物理内存的总量 (以 字节为单位) 可以返回一个值，该值超出 32 位进程中 long 或 unsigned long 可表示的最大值。同样适用于通过将 sysconf (_SC_PAGESIZE) 和 sysconf (_SC_AVPHYS_PAGES) 想乘，来确定未使用的 物理内存的总量 (以 字节为单位)。这个问题有两个工作区。第 1 个工作区将程序作为 64 位的进程进行编译 (从而使 long 足够大到可以容纳乘法运算的结果) ，但是，这样做的缺点是得到的程序只能在 64 位的内核中运行。第 2 个工作区是用来将得到的乘法运算结果存储在一个 64 位的量中，如 longlong_t (Solaris OS 类型) 或 long long (linux)。它的有点是可以在 32 位和 64 位的内核中正确工作。

Answer 2

你是说用awk，sed之类的么？这两个的具体实现方式没研究过，但是实际应用中曾经用sed和用perl处理大量文本文件比较过，sed估计是没有做io的buffer把时间消耗在io读写上了，确实慢很多，cpu占用率也不高，因为对于sed的处理方式来说cpu太快io太慢，cpu无需全力运转。
perl的优化肯定比sed这个老古董好了，因此效率还不错的，如果是偶尔处理些大文件应该够用吧，
当然我记得perl也只能一个core跑满，如果你的应用对时间敏感比如是每日统计之类的应用或者数据量超大那么还是核心处理程序用C写，优化好流程然后由shell来调用比较好（当然前提是你写多核并行批量处理文本有点经验，要不然说不定还没sed快……）。

Answer 3

因为CPU使用率不是程序而是操作系统内核来控制的，操作系统会根据你程序的需求分配CPU的使用率，需要的多，就分配的多，需要的少，就分配的少,因此，CPU使用率无法使用软件来提高。如果你的CPU占用率低于90%，那就说明你的脚本根本不需要那么多的CPU时间。本回答被提问者采纳