狭义信息论

Question

如题所述

Answer 1

一、概述

信息论是美国数学家香农（C.E.Shannon）建立的。1948年及1949年香农在《贝尔系统技术杂志》上发表的《通信的数学理论》和《在噪声中的通信》两篇论文，奠定了现代信息论的基础。他从研究通讯中要解决的信息度量等问题入手，建立了仅用于通信系统的信息论，或称香农信息论，也称狭义信息论。

香农在深入研究了各种复杂的通信系统后，将通信系统的形式抽象为图1—1所示那样的模型。模型由六个部分组成，各部分的意义是：

图1—1　香农的通信系统模型

1.信源和信宿

信源即信息的来源，它能够形成和发送一种消息或消息系列，这种消息有待于传输给接收端。信源是多方面的，不仅人可以发出信息，而且自然界一切物体也能主动地或被动地发出信息，成为信源。信宿即信息接收者，它能够接收消息，并使消息再现，达到通信的目的。信宿可以是人，例如地质人员，也可以是机器，例如物探中所用的各种接收仪器。

2.信道和噪声

信道是传输信息的媒介，是信源和信宿交换信息的通路。在地质找矿工作中，地下地质体（信源）发出的信息（如电磁场）要经过地壳中的岩石及（或）地面上空气，传输到信宿，故信源的上覆地层及（或）空气就是信道。

当信息在信道中传输时，常受到噪声的干扰。在通信系统中所遇到的噪声可分为两类：系统外部的噪声和系统内部的噪声。噪声往往影响通信效果，造成某些失真，为此，必须尽量减少噪声。

在地质找矿中，一般将噪声称作干扰。

3.编码和译码

“码”是一个符号表和将这些符号排列起来时必须遵守的一些制约。运用这些符号，遵守相应的制约把信息变成信号，这一过程就是编码。

当信号系列通过信道输出端输出后，必须经过译码复制成消息，才能送到收信人手中。译码过程恰好与编码相反，所以译码就是编码的反变换。

以上几部分就构成了香农的通信模型（见图1—1）。

香农这个模型不仅可以用于通信系统，而且可以推广到其他非通信领域。在非通信系统中，可称为信息流通系统。以企业管理为例，由基层单位及其他有关方面提供信息，领导机关通过各种渠道了解和收集信息，然后处理信息，作出决策。在这里，基层单位等是信源，领导单位是信宿，而了解和收集情况的各种渠道是信道。这也是一个简单的信息流系统。从这个观点看，地质找矿工作也可看成是一个复杂的信息流系统（将在第三章中叙述）。

二、狭义信息论中信息的定义

任何一门科学在其发展过程中都经历了两个阶段，即定性研究和定量研究阶段。定性是定量的基础，定量则是定性的精确化。只有当一门科学从定性研究进入定量研究后，这门科学才成为“精确科学”，信息论要发展成为一门“精确科学”，就必须对信息进行度量。

为了对信息进行度量，必须对信息下一个确切的定义。香农将信息定义为消息中关于不确定性事物（即原来不知道的东西）的内容。譬如说，有人告诉你一个你已经知道的事情的消息，这个消息中就没有任何信息。反之，你对被告知的事件在被告知以前知道得越少，则这个消息中的信息量就越大。对一个在给定条件下必定发生的事件或必定不发生的事件，当条件具备时，有人告诉你这个事件发生了（对必定发生的事件）或这个事件没有发生（对必定不发生的事件），这个消息对你都没有任何信息。

如果一个事件，在给定条件下可能发生也可能不发生，而其发生具有一定的概率，当条件具备时，有人告诉你这个事件发生了或没有发生，这个消息对你就含有信息。

三、信息的度量^[1]

按常规办法，对某个量作定量表示时，往往将它与某一适当的标准进行比较。显然，这种办法不适用于信息的定量表示，因而信息的度量成了一个长期没有解决的问题。而香农却在这方面作出了重大贡献，使信息定量化。

根据香农的信息定义，完全撇开信息的具体内容，将信息加以形式化，用概率论的观点对信息进行定量描述。这样做的根据是：第一，信宿只是复制信源发出的信号，而不管其内容；第二，在信宿未接收到信源发出的信号以前，信源什么时间发出信号、发出什么信号，对信宿而言都是未知的，具有随机性。因此，信源发送信号对信宿而言可视作一个随机事件。

设随机事件A发生的概率为P（A），并有0≤P（A）≤1。若P（A）=1，则A必发生，若P（A）=0，则A必不发生。香农定义事件A的自信息量为

I（A）=-lg（P（A））　当P（A）＞0

I（A）=0　当P（A）＝0

用对数表示是为了计算简便，因为如果直接用概率表示，在求几条消息（或一个系统中的多个事件）的总信息量时，要用乘法，而对数可以变求积为求和。由于随机事件的概率总小于1，其对数为负值，故在概率的对数前冠以负号，使信息量取正值。

从上式看出，概率小的事件，信息量多。这点在地质找矿中很容易理解：设在一个具m个单元的地区，有n₁个单元上出现地质标志A，在n₂个单元上出现地质标志B，设地质标志B只出现在有矿床或矿化存在的单元，而地质标志A则只出现在有矿床存在的单元。显然，n₂＞n₁，因而（n₂/m）＞（n₁/m）。当m,n₁及n₂均较大时，B出现的概率P（B）=n₂/m,A出现的概率为P（A）=n₁/m。根据自信息定义公式

I（A）=-lg（P（A）=-lg（n₁/m）＝lgm-lgn₁

I（B）=-lg（P（B）=-lg（N₂/m）＝lgm-lgn₂

因为m＞n₂＞n₁，故

I（A）-I（B）=lgn₂-lgn₁＞0

即地质标志A出现比地质标志B出现提供有矿床存在的信息量大。

因此，这样定义的信息量，符合将信息定义为消息中关于不确定性的事物（即原来不知道的东西）的内容的要求。

对一组事件S（包含E₁,E₂，…，E_n共n个事件）来说，设事件E_k出现的概率P（E_k）=P_k，定义这组事件的自信息量的统计平均值为

信息论、系统论与地质找矿工作

式中

，lgP_k=0当P_k=0。通常把S的自信息量的统计平均值称S的熵。

对于两组事件可以定义其互信息量及联合熵。此时要用到数学中的集合论，故不叙述，有兴趣的读者可参阅有关专著^[1]。

四、信息论的发展

狭义信息论诞生后，由于推广应用得到了很大的发展。其发展大致经历了三个时期：

1.50年代是信息论向各门学科冲击的时期。信息论的成就给许多学科带来了意外的希望。人们试图把信息概念和方法用来解决本学科面临的许多未能解决的问题；试图把信息论用于解决语义学、听觉、神经、生理学及心理学等问题。例如1955年在伦敦举行的第三届信息论会议，涉及内容非常广泛，包括解剖学、动物保健学、人类学、计算机、经济学、电子学、语言学、数学、神经生理学、神经精神学、哲学、语音学、物理学、政治理论、心理学和统计学等。但由于狭义信息论存在不考虑信息发送者与接收者双方关于信息的意义（如信息是否真实）和信息的价值以及不能用来描述模糊信息等局限性，因而在这方面取得的成就不大。

2.60年代，信息论是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究的重点是信息和信源编码问题，噪声理论问题、信号滤波与预测问题、调制与信息处理问题等。这些就是所谓的一般信息论，主要是研究通信问题，也涉及到心理学等。

3.70年代以来，是信息论向广义信息论或信息科学发展的时期。信息论的这次发展是与世界范围的新技术革命相联系的。美国的未来学家阿尔温·托夫勒（Alvin Toffer）在70年代中期写了《未来的震荡》一书，论述人类社会未来的发展。1980年他又出版了《第三次浪潮》。他认为第一次浪潮是距今0.8万～1万年以前的农业革命，第二次浪潮是从18世纪中叶开始的工业革命，第三次浪潮则是从本世纪40年代开始的“信息革命”。因此，人们越来越认识到信息的重要性，认识到信息可以当作与材料和能源一样的资源而加以充分利用和共享。信息论的概念和方法已广泛渗透到各个科学领域，它迫切要求突破狭义信息论的狭隘范围，以便使它能成为各种人类活动中所遇到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。70年代以来，许多学者提出了“有效信息”、“广义有效信息”、“语义信息”、“无概率信息”及“模糊信息”等概念。目前，人们已把早已建立的有关信息的规律与理论广泛应用于物理学、化学、生物学、心理学及管理学等学科中去。一门研究信息的产生、获取、变换、传输、存贮、处理、显示、识别和利用的信息科学即广义信息论正在形成。本章以后各节，将结合地质找矿的特点，叙述广义信息论中的一些重要概念。