信息冗余

在信息論中，冗余衡量系綜 X 的熵 H(X) 與其最大可能值 log ? ( | A X | ) {dISPlaystyle log(|{mathcal {A}} _{X}|)} 。通俗地說，它是用于傳輸某些數據的浪費空間量。

數據壓縮是一種減少或消除不需要的冗余的方法，而前向糾錯是一種在通過有限容量的嘈雜信道進行通信時添加所需冗余以進行錯誤檢測和糾正的方法。

在描述原始數據的冗余度時，信息源的速率是每個符號的平均熵。對于無記憶源，這只是每個符號的熵

在極限中，隨著 n 趨于無窮大，前 n 個符號的聯合熵除以 n。在信息論中，談論一種語言的速率或熵是很常見的。例如，當信息來源是英文散文時，這是合適的。無記憶源的速率只是 H ( M ) {diSPlaystyle H(M)} ，因為根據定義，無記憶源的連續消息之間沒有相互依賴性。

消息空間或字母表的基數的對數。這是該字母表可以傳輸的最大可能信息速率。如果源是無記憶的并且具有均勻分布，則絕對速率等于實際速率。

絕對利率和利率之間的差異。

被稱為相對冗余并給出最大可能的數據壓縮率，當表示為文件大小可以減小的百分比時。具有均勻分布的無記憶源具有零冗余（因此效率為 100%），并且無法壓縮。

兩個變量之間的冗余度量是互信息或歸一化變量。許多變量之間的冗余度由總相關性給出。

這種冗余的表述是對協同作用概念的補充，協同作用發生在聯合互信息大于邊際總和時，表明存在僅由聯合狀態而不是任何更簡單的來源集合披露的信息。