做生意的經典座右銘
[拼音]：xinxilian
[英文]：amount of information
資訊多少的量度。1928年R.V.L.哈特萊首先提出資訊定量化的初步設想，他將訊息數的對數定義為資訊量。若信源有m種訊息，且每個訊息是以相等可能產生的，則該信源的資訊量可表示為I=logm。但對資訊量作深入而系統研究，還是從1948年C.E.仙農的奠基性工作開始的。
在資訊理論中，認為信源輸出的訊息是隨機的。即在未收到訊息之前，是不能肯定信源到底傳送什麼樣的訊息。而通訊的目的也就是要使接收者在接收到訊息後，儘可能多的解除接收者對信源所存在的疑義（不定度），因此這個被解除的不定度實際上就是在通訊中所要傳送的資訊量。因此，接收的資訊量在無干擾時，在數值上就等於信源的資訊熵
，式中P(xi)為信源取第i個符號的概率。但在概念上，資訊熵與資訊量是有區別的。資訊熵是描述信源本身統計特性的一個物理量。它是信源平均不定度，是信源統計特性的一個客觀表徵量。不管是否有接收者它總是客觀存在的。資訊量則往往是針對接收者而言的，所謂接收者獲得了資訊，是指接收者收到訊息後解除了對信源的平均不定度，它具有相對性。對於資訊量的說明須引入互資訊的概念。
在資訊理論中，互資訊的定義是：I(X；Y)＝
H
(X)－H
(X|Y)，數式右邊後一項稱為條件熵，對離散訊息可表示為
，它表示已知Y以後，對X仍存在的不定度。因此，互資訊I(X;Y)是表示當收到Y以後所獲得關於信源X的資訊量。與互資訊相對應，常稱
H
（1）非負性：I(X;Y)≥0，僅當收到的訊息與傳送的訊息統計獨立時，互資訊才為0。
（2）互資訊不大於信源的熵：I(X;Y)≤
H
(X)，即接收者從信源中所獲得的資訊必不大於信源本身的熵。僅當通道無噪聲時，兩者才相等。（3）對稱性：I(X;Y)=I(Y;X)，即Y隱含X和X隱含Y 的互資訊是相等的。
對於連續信源的互資訊，它仍表示兩個熵的差值，所以也可直接從離散情況加以推廣，並保持上述離散情況的一切特性，即
實際信源是單個訊息信源的組合，所以實際信源的互資訊I(X;Y)也可以直接從上述單個訊息的互資訊I(X；Y)加以推廣，即I(X;Y)=