通信人家园

标题: 香农极限能不能突破？ [查看完整版帖子] [打印本页]

时间: 2019-3-25 10:08

作者: Ricky_X_F 标题: 香农极限能不能突破？

本帖最后由 Ricky_X_F 于 2019-4-1 10:39 编辑

香农极限能不能突破呢？不知道。

我在文章“A brief introduction to Shannon's information theory” 里采用了组合数学的方法去理解和导出香农熵等概念。
一方面，我相信应该会有其他人有过类似的思路；另一方面，想在公开文献里找到明确用这种思路的资料似乎也不是很容易。
我看到的最明确的一篇，是最近（2018），Edward Witten（著名物理学家，菲尔兹奖得主）写的一篇介绍“经典信息论与量子信息论”的文章有用相同的思路去介绍。两篇文章都在 The Net Advance of Physics (MIT)--Information(网址：http://web.mit.edu/redingtn/www/netadv/Xinformati.html）以及arXiv上能找到。

A brief introduction to Shannon's information theory (链接 [size=13.248px]arXiv:1612.09316v2[size=13.248px] [cs.IT])

在我的这篇文章里，实际上还讨论了一下香农极限能不能突破。
我个人的答案是，可能有那么一丝丝可能。我只给出了分析，在哪个方面去考虑有可能能够突破。
具体想了解的，需要去读读那篇文章，自己判断合理性。也欢迎讨论。

我个人的研究领域在数学上比在通信领域更多，虽然对信息论很有兴趣，但并不是长年在这个领域研究的，也很有可能是我忽略了什么，
才导致往我提出的方向去看，似乎有突破的可能。

有一定背景基础和兴趣的，可以去看看。

陈小锋（《通信新读-从原理到应用》作者，前华为无线研究工程师）

----------------------------------------------------------------------------------------------------------------------------------------------------------

补充一点。大家了解香农极限，大概比较熟悉的是两个公式：
第一，有带宽和信噪比的那个漂亮公式；
第二，互信息表达的那个公式。
可能很多人首先想到的是第一个。第一个的假设是，信息最终被表示成了连续函数（电磁信号），所以跟带宽，信噪比相关。
第二个，理论上说没有这样的限制。也就是说，如果信息的最终表示归结不成连续函数，那容量极限就可以跟我们现在理解的频谱带宽无关。

1612.09316v2.pdf (150.31 KB, 下载次数: 74)

附件: 1612.09316v2.pdf (2019-3-25 10:21, 150.31 KB) / 下载次数 74
https://www.txrjy.com/forum.php?mod=attachment&aid=MzkxMzEwfGE1NWVhYmFhfDE3MzMyNTM0NDR8MHww

时间: 2019-3-25 10:31

作者: hj964

感觉目前通信技术的理论和应用领域都遇到了发展瓶颈，这才是目前比较棘手的问题。

时间: 2019-3-25 10:36

作者: just10086

本帖最后由 just10086 于 2019-3-25 10:36 编辑

无线领域香农定理能突破，光纤宽带是不是也一样能突破

时间: 2019-3-25 11:03

作者: shamashii

比起shannon，还是多关心关心电池技术罢

时间: 2019-3-25 11:10

作者: 俺寻思

shamashii 发表于 2019-3-25 11:03
比起shannon，还是多关心关心电池技术罢

难，前几年网上时不时就把MIT某团队的新型电池拿出来炒，现在网上很少有这方面的话题了

时间: 2019-3-25 11:37

作者: Ricky_X_F

just10086 发表于 2019-3-25 10:36
无线领域香农定理能突破，光纤宽带是不是也一样能突破

从理论上讨论香农定理，可以把具体的传输介质抽象化，不依赖于其形式。

时间: 2019-3-25 11:38

作者: Ricky_X_F

shamashii 发表于 2019-3-25 11:03
比起shannon，还是多关心关心电池技术罢

电池也很重要。最近好像看到一些进展的，忘了具体内容

时间: 2019-3-25 11:41

作者: Ricky_X_F

hj964 发表于 2019-3-25 10:31
感觉目前通信技术的理论和应用领域都遇到了发展瓶颈，这才是目前比较棘手的问题。

是啊

时间: 2019-3-25 11:47

作者: Ricky_X_F

俺寻思发表于 2019-3-25 11:10
难，前几年网上时不时就把MIT某团队的新型电池拿出来炒，现在网上很少有这方面的话题了

MIT 很强，毋庸置疑！确实也有很多很擅长推销自己研究结果的明星教授。当然，整体来看，有会推销的也不是坏事，就怕全部都只是炒的。

时间: 2019-3-25 14:52

作者: Johnson_R

顶一顶大神的帖子

时间: 2019-3-25 17:10

作者: 79101607

基础科学亟待突破。。。

时间: 2019-3-25 17:30

作者: zr8023zjj

突破前人我们义不容辞。。

时间: 2019-3-25 20:34

作者: 中国移动5G

提示: 作者被禁止或删除内容自动屏蔽

时间: 2019-3-25 22:25

作者: Ricky_X_F

Johnson_R 发表于 2019-3-25 14:52
顶一顶大神的帖子

谢谢

时间: 2019-3-26 00:14

作者: lovebugzhang

外行问一下，物理的热学定律不会有人指望突破，但为什么都觉得香农定理有可能突破呢，纯粹是心存侥幸还是已知定律本身有漏洞？另外所谓的突破是指证明香农定理错了还是在符合定理的前提下做到无限接近极限？

时间: 2019-3-26 00:53

作者: Ricky_X_F

lovebugzhang 发表于 2019-3-26 00:14
外行问一下，物理的热学定律不会有人指望突破，但为什么都觉得香农定理有可能突破呢，纯粹是心存侥幸还是已 ...

我尝试简单回答一下：
首先香农已有的定理肯定是正确的。
香农理论本身是抽象建模了通信过程，然后在这个抽象框架下讨论通信的极限能力。“通信过程” 和自然界的物理现象还是有些差别的，不太恰当的说现代讨论的“通信过程”并不是自然存在的，某种意义上是人为的产物。经常也有一些新闻说突破香农极限，但是个人认为，任何能归结到香农抽象的模型下的结果都不应该称为突破，最多算进展，不管多大进展（也就是说他的模型包括的范围很广，有些情形可能之前没人考虑，现在有人考虑了而已）。

回过头来，既然是抽象模型，那就得看是否抽象得足够精确，足够完备。如果有人把香农的模型能概括的范围进一步拓展，那就有可能得到更好的结果，这就可以称之为突破。

时间: 2019-3-26 10:07

作者: lovebugzhang

本帖最后由 lovebugzhang 于 2019-3-26 10:08 编辑

Ricky_X_F 发表于 2019-3-26 00:53
我尝试简单回答一下：
首先香农已有的定理肯定是正确的。
香农理论本身是抽象建模了通信过程，然后在这 ...

感谢大神回复

时间: 2019-3-26 10:51

作者: maxbird

本帖最后由 maxbird 于 2019-3-26 10:51 编辑

如果香农理论是通过对通信过程抽象建模，再利用数学工具推导出的结果，那只要去核查对通信过程进行抽象建模时有咩有漏洞，就能判断香农极限能不能突破。

时间: 2019-3-26 17:17

作者: zdp1016

脑洞一下，香农的打破很可能来自于跨界打击，而不再拘泥于现在的通信制式。

底层物理学的巨大突破，比如量子通信。三个质子就能监控地球上的一切。。。。。。。

到那时，1-5G都是过去时，就跟煤油灯一样。

时间: 2019-3-27 11:55

作者: savie

牛顿的那一套已经用到了极致，科技发展已经到了瓶颈了，
电池，通信，燃料，材料等等
得用爱因斯坦的玄学理论来指导科学了

时间: 2019-3-27 20:47

作者: Ricky_X_F

本帖最后由 Ricky_X_F 于 2019-3-27 20:48 编辑

maxbird 发表于 2019-3-26 10:51
如果香农理论是通过对通信过程抽象建模，再利用数学工具推导出的结果，那只要去核查对通信过程进行抽象建模 ...

思路是这样的。
但是，不太容易，据悉香农思考了7年才把他的经典论文发出来。

时间: 2019-3-28 20:00

作者: Ricky_X_F

zdp1016 发表于 2019-3-26 17:17
脑洞一下，香农的打破很可能来自于跨界打击，而不再拘泥于现在的通信制式。

底层物理学的巨大突破，比如 ...

借此楼补充一点。大家了解香农极限，大概比较熟悉的是两个公式：
第一，有带宽和信噪比的那个漂亮公式；
第二，互信息表达的那个公式。
可能很多人首先想到的是第一个。第一个的假设是，信息最终被表示成了连续函数（电磁信号），所以跟带宽，信噪比相关。
第二个，理论上说没有这样的限制。也就是说，如果信息的最终表示归结不成连续函数，那容量极限就可以跟我们现在理解的频谱带宽无关。

时间: 2019-4-2 18:18

作者: ypf_freesia

mark

时间: 2019-4-10 18:14

作者: ldddddddddd

学习

时间: 2019-4-28 17:56

作者: balancex

最近流行的短码传输，URLLC应用场景，香农限已经不是最佳的数学逼近限了

时间: 2019-5-3 09:02

作者: Ricky_X_F

balancex 发表于 2019-4-28 17:56
最近流行的短码传输，URLLC应用场景，香农限已经不是最佳的数学逼近限了

能给大家总结分享是怎么回事吗？

时间: 2019-5-3 14:12

作者: balancex

本帖最后由 balancex 于 2019-5-3 16:46 编辑

Ricky_X_F 发表于 2019-5-3 09:02
能给大家总结分享是怎么回事吗？

具体细节我不是很清楚，因为我主要关注的是它的应用，我从我已有的理解说一下吧。香农定理的形式是\log_2(1 + \gamma),其单位是bits/symbol.问题就出在这里有一个假设，就是每一个信道编码周期，假设其symbol的个数（又称为blocklength，可以理解为时间乘以带宽（T*B），T*B*\log_2(1 + \gamma)就是这一周期所能承受的信息速率上限）为无限多个。在现有的传输系统中，blocklength的长度是很长的，可以近似认为是无线长的，所以香农公式是非常实用的。

但是，当要满足极低的时延时，必须要求T非常短，所以对应的blocklength就是变成有限长的，此时假设不再成立。在2010年的时候，有一个人把这种情况下更加精确地逼近限给得到了，成果已经发表在了IEEE trans. on information theory上了，现在的引用量已经很高了（截至目前，IEEE上给出的是800次论文引用），得到的结果是下面这个样子[1]：捕获.JPG

其中C= \log_2(1 + \gamma)，就是香农容量。当n趋近无穷的时候，上式就演变成了C。

参考：
[1] Y. Polyanskiy, H. V. Poor, and S. Verdu, “Channel Coding Rate in the Finite Blocklength Regime,” IEEE Trans. Inf. Theory, vol. 56, no. 5, pp. 2307–2359, May 2010.

附件: 捕获.JPG (2019-5-3 14:08, 18.02 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=Mzk2MDgyfDgwNGMxZmVjfDE3MzMyNTM0NDR8MHww

时间: 2019-5-5 22:45

作者: Ricky_X_F

balancex 发表于 2019-5-3 14:12
具体细节我不是很清楚，因为我主要关注的是它的应用，我从我已有的理解说一下吧。香农定理的形式是\log_2 ...

谢谢。还以为香农极限被突破了呢。
不过，说是更精细的描述没问题。

时间: 2019-5-6 10:31

作者: balancex

Ricky_X_F 发表于 2019-5-5 22:45
谢谢。还以为香农极限被突破了呢。
不过，说是更精细的描述没问题。

谢谢大佬的回复

，最近有一个帖子上声明自己找到了香农理论的bug，您可以看看：http://www.txrjy.com/thread-1070454-1-1.html

这个论坛感觉活跃度不高，大佬倒是很多

时间: 2019-5-8 08:54

作者: Ricky_X_F

balancex 发表于 2019-5-6 10:31
谢谢大佬的回复，最近有一个帖子上声明自己找到了香农理论的bug，您可以看看：http://www.txrjy.com ...

那是老杨的帖子，我们在华为北研所时是同事，我还没看他的新文章。

时间: 2019-5-24 18:13

作者: sam.zhang

需要发现新的维度或新的变量，才有希望突破。

时间: 2019-5-28 10:57

作者: Ricky_X_F

文章最后提了一个开放性的数学问题，该问题若被解决，可能就突破香农极限了。
希望有人有兴趣去试试。

时间: 2019-6-10 11:27

作者: 金贝贝test

学习一下

时间: 2019-6-12 02:20

作者: Ricky_X_F

金贝贝test 发表于 2019-6-10 11:27
学习一下

热烈欢迎！

时间: 2019-6-17 12:33

作者: chepin

brilliant，thx alot

时间: 2019-7-4 22:36

作者: Ricky_X_F

chepin 发表于 2019-6-17 12:33
brilliant，thx alot

时间: 2019-7-16 15:02

作者: 45°C

时间: 2019-8-11 23:25

作者: Ricky_X_F

有个学术网站叫 researchgate，那里面只收录了我的这一篇非数学文章，其它都是数学文章。
神奇的是，这一篇文章贡献了差不多一半的总阅读量。
数学还是太小众了啊~

时间: 2019-10-15 21:40

作者: 宇内安宁

多谢分享

学习了

时间: 2019-12-5 10:39

作者: lcs199771

香农是数学家，信息论是应用数学，只有数学家能把信息论理解透彻，将军

时间: 2019-12-16 15:21

作者: gl6866

对这个题目非常感兴趣！

时间: 2019-12-30 14:05

作者: ysliu86

谢谢楼主，下载学习下

时间: 2020-1-1 21:31

作者: songgm

是一个话题

时间: 2020-3-1 12:42

作者: hustfucker

学习一下，我也建了个光通信微信公众号，向大家介绍一些光通信知识，探讨新技术，研究方向。ID: 光通信充电宝

时间: 2020-4-7 17:51

作者: LASTxiaohua

博主，在突破香农极限方面，有没有考虑到PSWFs这种非正弦信号形式。贝尔实验室证明PSWFs是带限信号中能量聚集性最佳的信号形式

时间: 2020-4-28 20:33

作者: Ricky_X_F

lcs199771 发表于 2019-12-5 10:39
香农是数学家，信息论是应用数学，只有数学家能把信息论理解透彻，将军

Right!

时间: 2020-4-28 20:33

作者: Ricky_X_F

ysliu86 发表于 2019-12-30 14:05
谢谢楼主，下载学习下

不客气，欢迎

时间: 2020-4-28 20:36

作者: Ricky_X_F

LASTxiaohua 发表于 2020-4-7 17:51
博主，在突破香农极限方面，有没有考虑到PSWFs这种非正弦信号形式。贝尔实验室证明PSWFs是带限信号中能量聚 ...

我暂时对这个PSWFs不太了解，不过香农极限已经是假设所涉及的要素都是理想的了

时间: 2020-6-8 10:58

作者: rogelbx

学习学习

时间: 2020-6-10 08:50

作者: Ricky_X_F

rogelbx 发表于 2020-6-8 10:58
学习学习

热烈欢迎！

时间: 2020-6-19 21:21

作者: 影之哀伤

看看

时间: 2020-10-21 17:27

作者: Ricky_X_F

hustfucker 发表于 2020-3-1 12:42
学习一下，我也建了个光通信微信公众号，向大家介绍一些光通信知识，探讨新技术，研究方向。ID: 光通信充电 ...

ID不错

时间: 2021-2-26 11:49

作者: Ricky_X_F

Ricky_X_F 发表于 2019-8-11 23:25
有个学术网站叫 researchgate，那里面只收录了我的这一篇非数学文章，其它都是数学文章。
神奇的是，这一篇 ...

ResearchGate上该文章阅读量8000+，研究人员来自牛津、宾大，伊利诺伊等。

时间: 2021-2-26 15:07

作者: lfzsjb001

地球上的材料已发现的差不多了，就看星辰大海里的材料啦

时间: 2021-6-24 19:45

作者: Ricky_X_F

Ricky_X_F 发表于 2019-5-28 10:57
文章最后提了一个开放性的数学问题，该问题若被解决，可能就突破香农极限了。
希望有人有兴趣去试试。

这个开放性问题已被部分解决，确实没能突破香农极限

，
参见论文更新：https://arxiv.org/abs/1612.09316：https://arxiv.org/abs/1612.09316

到此，只剩下连续分布情形没有解决。

若有错误，欢迎指正。

时间: 2021-7-16 21:15

作者: 程一玲

目前能突破香农极限的研究探索还有哪些？我看到的只有超奈圭斯特

时间: 2021-7-22 10:44

作者: Ricky_X_F

程一玲发表于 2021-7-16 21:15
目前能突破香农极限的研究探索还有哪些？我看到的只有超奈圭斯特

希望有朋友总结、分享给大家一下！

时间: 2021-10-20 20:44

作者: Ricky_X_F

Ricky_X_F 发表于 2021-2-26 11:49
ResearchGate上该文章阅读量8000+，研究人员来自牛津、宾大，伊利诺伊等。

阅读量突破10,000!

附件: info-shannon1.jpg (2021-10-20 20:43, 369.7 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NTAxMjg1fGYzZTU5MmY4fDE3MzMyNTM0NDR8MHww

时间: 2021-12-17 13:07

作者: QEDWRFAW

通过此文学到许多

时间: 2021-12-27 16:30

作者: fareliter

香农极限真的能突破吗？

时间: 2021-12-27 20:07

作者: ayfaidf

感觉香农极限目前还是突破不了，可以从语义的角度考虑考虑

时间: 2021-12-29 16:44

作者: 1346153143

感谢楼主分享

时间: 2022-1-4 19:38

作者: Ricky_X_F

ayfaidf 发表于 2021-12-27 20:07
感觉香农极限目前还是突破不了，可以从语义的角度考虑考虑

语义角度，可能需要平衡隐私问题。。。

时间: 2022-1-6 21:10

作者: 初晓123

学习一下

时间: 2022-2-21 20:12

作者: Ricky_X_F

fareliter 发表于 2021-12-27 16:30
香农极限真的能突破吗？

最近听到“电磁信息论”的概念，有兴趣的可以了解一下具体研究什么

时间: 2022-4-22 09:33

作者: 珑月明

原来香浓极限是这么来的。受教了

时间: 2022-4-22 09:53

作者: 与点

目前阶段还是很难突破，感觉要靠量子理论才会有进展

时间: 2022-6-16 08:58

作者: RESURGAM

在学信息论，好高深！

时间: 2022-6-16 19:21

作者: Xiao_Ayanami

现在都5G了，感觉是在香农极限这个海绵上再挤一点水。

时间: 2024-2-2 10:50

作者: dianzigou

感谢达人分享

时间: 2024-8-27 17:49

作者: Ricky_X_F

dianzigou 发表于 2024-2-2 10:50
感谢达人分享

时间: 2024-8-27 17:49

作者: Ricky_X_F

Xiao_Ayanami 发表于 2022-6-16 19:21
现在都5G了，感觉是在香农极限这个海绵上再挤一点水。

现在都6G了

时间: 2024-10-22 00:28

作者: dicluck

顶

时间: 2024-11-4 16:59

作者: gnfukddt

感谢大佬

通信人家园 (https://www.txrjy.com/)