香农极限能不能突破？

Ricky_X_F

香农极限能不能突破呢？不知道。

我在文章“A brief introduction to Shannon's information theory” 里采用了组合数学的方法去理解和导出香农熵等概念。
一方面，我相信应该会有其他人有过类似的思路；另一方面，想在公开文献里找到明确用这种思路的资料似乎也不是很容易。
我看到的最明确的一篇，是最近（2018），Edward Witten（著名物理学家，菲尔兹奖得主）写的一篇介绍“经典信息论与量子信息论”的文章有用相同的思路去介绍。两篇文章都在 The Net Advance of Physics (MIT)--Information(网址：http://web.mit.edu/redingtn/www/netadv/Xinformati.html）以及arXiv上能找到。

A brief introduction to Shannon's information theory (链接 [size=13.248px]arXiv:1612.09316v2[size=13.248px] [cs.IT])

在我的这篇文章里，实际上还讨论了一下香农极限能不能突破。
我个人的答案是，可能有那么一丝丝可能。我只给出了分析，在哪个方面去考虑有可能能够突破。
具体想了解的，需要去读读那篇文章，自己判断合理性。也欢迎讨论。

我个人的研究领域在数学上比在通信领域更多，虽然对信息论很有兴趣，但并不是长年在这个领域研究的，也很有可能是我忽略了什么，
才导致往我提出的方向去看，似乎有突破的可能。

有一定背景基础和兴趣的，可以去看看。

陈小锋（《通信新读-从原理到应用》作者，前华为无线研究工程师）

----------------------------------------------------------------------------------------------------------------------------------------------------------

补充一点。大家了解香农极限，大概比较熟悉的是两个公式：
第一，有带宽和信噪比的那个漂亮公式；
第二，互信息表达的那个公式。
可能很多人首先想到的是第一个。第一个的假设是，信息最终被表示成了连续函数（电磁信号），所以跟带宽，信噪比相关。
第二个，理论上说没有这样的限制。也就是说，如果信息的最终表示归结不成连续函数，那容量极限就可以跟我们现在理解的频谱带宽无关。

1612.09316v2.pdf (150.31 KB, 下载次数: 74)

2019-3-25 10:21 上传

下载次数: 74