通信人家园

标题: 全球首颗Transformer AI芯片Sohu发布：每秒处理速度达50万tokens [查看完整版帖子] [打印本页]

时间: 2024-6-26 13:34

作者: gythy1978 标题: 全球首颗Transformer AI芯片Sohu发布：每秒处理速度达50万tokens

【ITBEAR科技资讯】6月26日消息，近日，Etched公司成功完成了1.2亿美元(折合人民币约8.73亿元)的A轮融资，这笔资金将被投入到全球首款专为Transformer架构设计的ASIC芯片——Sohu的开发与销售中。

Etched公司，这家由哈佛大学辍学生加文・乌伯蒂(Gavin Uberti)和克里斯・朱(Chris Zhu)创立、运营时间不足2年的初创企业，正以其独特的技术视角和创新力量，引领着人工智能硬件的新潮流。

据ITBEAR科技资讯了解，Sohu芯片的最大突破在于它直接将Transformer架构蚀刻到芯片中，从而实现了硬件与算法的深度融合。乌伯蒂透露，Sohu芯片采用了台积电的4纳米工艺，这使得其推理性能显著优于传统的GPU和其他通用AI芯片，同时在能耗方面也有更出色的表现。

在性能测试中，以Llama 70B为基准，Sohu芯片每秒能处理超过50万个tokens，这一速度为用户构建出了GPU无法实现的产品提供了可能。此外，Sohu还具备实时语音代理、毫秒级处理大量文本、强大的代码树搜索、并行比较多个响应、多播推测解码以及实时生成新内容等先进功能，为运行未来万亿级参数模型铺平了道路。

通信人家园 (https://www.txrjy.com/)