熵

SHA1junhui

一百多年来，熵理论一直是人们谈论的话题。最初作为描述和判断热力学系统的一个状态参量，以后又在统计力学，平衡态热力学、信息论、生命科学等许多学科中植下根来，直到我们将它理解为，表征物质系统状态的复杂程度，而作为探索自然界复杂性的工具，组成了一副令人感兴趣的画卷。它在不同领域的引入和应用,都给各门学科带来了飞跃和进步,使人们格外感到熵的理论发展，有着无限的空间和生命力。 什么是熵理论？熵是热力学中的一个物理量，用来表示某种物质系统状态的一种量度，或说明其可能出现的程度，1865年由德国物理学家克劳修斯首先引入[1]。其数学表达式为：dS≥dQ/T，中文词意是热量被温度除的商，是描述状态的一个函数。在孤立系统内，任何变化不可能导致熵的总值减少，即dS≥0。如果变化的过程是可逆的，则dS=0；如果变化过程是不可逆的，则dS>0。即被称为熵增原理或热力学第二定律的数学表示。熵增原理指明了过程进行的方向，表示孤立系统中发生的自发过程，总是沿着熵增加的方向进行。 在统计物理学中,玻尔兹曼（L．Boltzmann）从物质的分子运动论角度研究了熵，指出了熵的微观本质。熵反映了分子的混乱程度，是无序度的度量。且系统的熵S与微观状态数W的对数成正比，S=kLnw（称为玻尔兹曼关系）。这样熵就成为描述系统宏观状态概率的物理量。于是，熵增原理（热力学第二定律）物理实质就理解为，孤立系统中的自发过程，总是由微观状态数少的宏观状态向微观状态数多的宏观状态过渡。那么，这一切又有什么直观的意义呢？我们说：熵高，或者说宏观状态的概率大，意味着“混乱”和“分散”；熵低，或者说宏观状态的概率小，意味着“整齐”和“集中”。用物理学语言，前者叫做无序，后者叫做有序[2]。 熵理论运用于信息论，其作用如何，又是如何得到发展的？ 什么是信息？早年间不过是消息的同义语，现代的社会里信息概念甚广，不仅包含人类所有的文化知识，还概括我们五官所感受的一切，实质上，信息是人类认识世界改造世界的知识源泉[3]。 关于信息和熵的关系，还可远溯至1827年由波耳兹曼(L．Boltzmann)所提出，1929年由齐拉德(L．Sziard)[4]所发展的工作。此外，在1918年，统计学家费歇(R．A．Fisher)因为需要一个标准，来估计实验数据内的信息，被某一给定的统计方法所利用的程度，也做出了一个信息的量度。信息量这个概念由费歇维纳(N.Wiener)[5]和申农（Shanon.C.E）[6]几乎同时以“熵”(entropy)的形式从数学上表达出来，即信息的获得是与不确定度的减少相联系，这就为计量信息找到了答案。 如果一个事件（例如收到一个信号）有n个等可能性的结局，那么结局未出现前的不确定程度H与n的自然对数成正比，即有 H＝Clnn　　（C为常数）　 　（1） 一个电报码从0到9共10个可能结局，不确定程度就是Cln10。当人们收到一个电报码后，就消除了这种“不确定”。这样，人们就从消除了多少不确定程度的角度，来定义一个消息中含有的信息量。4个数码组成一个中文字，因此一个汉字带来的信息量是4ln10或者ln104。申农把不确定程度H称为信息熵，就这样，“信息”这个词进入了科学的领地，它在定量化的进程中又与物理学中的“熵”概念联系起来。 这种对信息的理解完全排除了获得信息的载体是什么的影响，也排除了信息本身对人是否重要之类的干扰，从而使信息这个词在极为广泛的领域中都能应用。 假定一个信息量是n个相互独立的选择结果，其中每个选择都是在0或1中作出，则这个信息量的可能的选择数 Ω值为 于是 令H=n ，则可得到常数 这样计算出来的信息量单位称为比特(bit)，在通信中广泛使用。 一条通讯线路如果1s中能传送75bit的信息，我们就说这条线路传输能力为75比特。而在计算机述评中常用字节(Byte)作为信息量的单位，1个字节是8个比特(1Byte=8bit)，它容得下一个8位二进制数，或说它可记住256个(28)可能状态中究竟是哪一个。平常我们说微机的内存为64k(K为千――kilo)，是说它供用户任意存放数据的空间RAM是64000 Byte(字节)。 上面所讨论的计量不确定程度（或信息）的方法，仅适用于对某事件的结局为几个等可能结局时的情况。当几个结局出现的机会并不相同时，我们可以这样来计量。设有A1，A2，…，An共n个可能的结局，每个结局出现的几率分别为p1，p2，...，pn，则其不确定程度H由下式 给出 (2) 当 时，即等可能结局情况下，由于各结局出现机会相等，有 ，（2）式则还原为 这就是等可能结局情况下的计量公式（1），因此（1）式仅是（2）式的一个特例，（2）式就是信息熵的一般定义，它是由申农把熵的概念引入信息论中得到的，故又称为申农熵。 [6] 由此可知，任何一门学科逐步成熟的一个重要标志，就是它的一些重要概念从定性走向定量化。信息熵的提出，使得信息论逐步建立起其完备的科学体系。此后本世纪40年代以来，通信技术的发展可谓一日千里，新的通信方式不断涌现，其种类已不胜枚举，如微波、长距离波导、激光、光导纤维、对流层、流层、人造卫星等等。通信应用的领域也不断扩展，病人可以吞下诊断器向医师报告病情，自动控制装置可以从月球上将信息发回地球……总之，现在可供利用的巨大的信息量正在高速度增长。于是，信息的表示方法愈来愈成为一个重要而迫切的问题，而信息论正好提供了表示信息的一般原则。同时，自然界存在着不断变化着的复杂的组织系统——生物，而人类本身也在发展那些越来越复杂的系统，例如电子计算机、自动控制系统、自学习机、自繁殖机、机器人，甚至还有人工智能机和自动进化机等等，它们的机能取决于成功而有效的通信联系，而信息论正好提供了信息传递的普遍原则。毫不夸张地说，熵在信息论中引入，引起了人类社会的信息革命，促进了社会各方面的飞跃发展。 其次，熵理论与生命科学相结合，使之成为生命变化的重要因素。 普利高津根据非平衡统计物理学的发展指出，一个远离平衡的开放系统，通过不断地与外界交换物质和能量，在外界条件的变化达到一定的临界值时，可能从原有的混乱状态，转变为一种在时间和空间上或功能上的有序状态。这种远离平衡情况下所形成的新的有序结构就是耗散结构[2]。耗散结构告诉我们：均匀态具有最大的混乱度，熵是最大的，有序结构的出现意味着熵的降低。因此耗散结构理论突破了热力学第二定律只适用于孤立系统的限制，将其适用范围推广到开放系统，并将热力学地二定律的数字表达式改为ds=dis des。其中ds为系统的熵变；dis为系统内不可逆过程的熵变，即熵产生且恒大于、等于零；des为系统与外界交换物质与能量而引起的熵变，称为熵流。对于孤立系统，des=0，ds=dis≥0，这就是熵增原理。对于开放系统，ds≠0，只有ds＜0，（负熵流），同时deS＞diS ,就有系统的熵变ds＜0. 这时， 系统的熵不是增加，而是减少，因而有序度增加，系统就可以进化为更加有序，组织化程度越来越高的状态。由于一切有机体乃至人类社会都是偏离乃至远离平衡态的开放系统，所以扩展后的热力学第二定律，就可以完全适用于生命和社会等不断进化的活生生的现实了。 先从人个体的生长，来看胚胎的发育、成长过程，是由生殖细胞（含有较少的信息量—简单、无序）分化出不同器官、发育成为成体（含有较多的信息----复杂、有序）。这个在母体中所进行的无序到有序的过程，必然有deS＜0，即熵流从系统（母体）流向了外界，使总熵变dS为负。客观上是母体吃进了有序，或按薛定谔（Schrodinger）的说法[1]：“生命之所以能存在，就在于从环境中不断得到负熵”。因为人们进食（主食和副食），不是吃进了分散（无序）的原子，而是吃进了由已经含有高度有序的分子构型所构成的动植物。由于负熵的作用（利用了外界的物质和高能）使胎儿在母体中生长为高度的有序体----成熟的婴儿而呱呱落地。而成熟的生命有机体，每天保持着大致相同的状态，可近似看成稳态。所以成熟的机体在一定时间内可以表为：dS=diS deS≈0（稳态）。其中diS为一定时间内因系统内部发生的过程引起的熵变；deS为一定时间内因系统与环境之间的物质与能量的交换而引起的熵变。而机体内的生化反应，物质的扩散，血液流动等过程是不可逆的，因此diS＞0，为了补偿diS的正值，deS必为负。deS又分为两项：一项是由于同环境进行热交换而引起的熵变，其值可正、可负；另一项是由于同环境进行物质交换引起的熵变，有机体不断从环境摄取高度有序的低熵大分子物质（如蛋白质、淀粉等），而排泄出的是有序小的高熵小分子物质（如CO2、水汽、尿、汗等），这就保证了deS为负值。因而机体内部不可逆过程中产生的熵传给了环境。 早在1944年量子力学的创始人之一薛定谔(Schrodinger)，就在他著名的小册子里《生命是什么》一书中指出：生命有机体要摆脱死亡，就是要活着，唯一的办法就是从环境里不断地吸取“负熵”。吸取了一串“负熵”去抵消它在生活中产生的熵的增加，从而使它自身维持在一个稳定的而又很低的熵的水平上。否则，一个生命有机体在不断增加它的熵，或者可以说是在增加正熵，并趋于接近最大值的熵的危险状态，那就是死亡。生命有机体就是依赖负熵为生的[2]。可以这样认为，生命的诞生、成熟和死亡都与熵有着密切的关系。 现在科学前沿人们正在把熵引入到遗传学的基因研究中，提出了生物熵的概念。希望通过人工对DNA遗传信息密码，进行切割和重组，并在里面引入外来基因，人为地改变遗传密码，形成新转基因生物，从而使之具备人们需要的性质。例如弄明白人体器官是怎样按时间顺序和空间位置发育的，则就能克隆新的器官；同时正在研究进行基因治疗，对一些由于基因突变所导致的癌症，可进行转基因治疗。现在弄清人的全部全长基因的计划正在进行。基因的研究将提供关于人类，及其它生物的DNA结构组成和特性的详细信息，对人类认识自身，揭开生命奥秘，奠定21世纪生命科学发展的基础具有重要意义[1]。 迄今熵理论在各门学科的运用，都取得了丰硕的成果，证明了跨学科研究，能推动着各学科的进步，也证明了熵理论是一个非常复杂的，含义相当丰富的综合体，所以世界上的任何事物都不是孤立地存在着，而总是与其他事物相互联系着和彼此影响着的。对于从生产实践中不断地发展着的现代自然科学和技术科学，我们决不能用片面的、孤立的、形而上学的观点去对待，而应该努力去探索和发掘不同领域、不同学科之间的内在联系。要突破学科的框框，打破专业的界限。所谓的“它山之石，可以攻玉”，以此来促进各门学科的共同发展。我们相信熵理论一定还有许多尚未认识的要义，对其深入的研究必将对各个领域的发展，起到巨大的推动作用。可以说熵理论研究是一个可望取得硕果的领域。

SHA1junhui

没找到负熵的精辟论述，很遗憾。