通信人家园

标题: 显卡运行R1 [查看完整版帖子] [打印本页]

时间: 2025-2-15 11:53

作者: hwwdx 标题: 显卡运行R1

每日经济新闻
4090显卡单枪匹马就能跑满血版DeepSeek-R1 清华团队突破大模型算力难题

2月10日，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新，成功打破大模型推理算力门槛。此前，拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。推理服务器常因高负荷宕机，专属版云服务器按GPU小时计费的高昂成本让中小团队无力承担，而市面上的“本地部署”方案多为参数量大幅缩水的蒸馏版，在本地小规模硬件上运行满血版 DeepSeek-R1 被认为几乎不可能。

此次KTransformers项目更新带来重大突破，支持在24G显存（4090D）的设备上本地运行 DeepSeek-R1、V3的671B满血版。其预处理速度最高可达286 tokens/s，推理生成速度最高能达到14 tokens/s。甚至有开发者借助这一优化技术，在3090显卡和200GB内存的配置下，使Q2_K_XL模型的推理速度达到9.1 tokens/s，实现了千亿级模型的 “家庭化” 运行。

此外，该项目v0.3预览版还将整合Intel AMX指令集，进一步提升CPU预填充速度，最高至286 tokens/s，相比llama.cpp快了近28倍，为长序列任务带来秒级响应。同时，KTransformers提供兼容Hugginface Transformers的API与ChatGPT式Web界面，降低上手难度，其基于YAML的“模板注入框架”可灵活切换多种优化方式

时间: 2025-2-15 13:34

作者: dingyan1314

时间: 2025-2-15 13:48

作者: 枫叶荻花秋瑟瑟

这个推理过程可否多机并行处理呢？二手电脑很便宜，多买几台二手电脑一起运行，是不是可以提升性能呢

时间: 2025-2-15 14:27

作者: sanbinc

独立显卡不能共享内存，大内存能发挥作用吗

时间: 2025-2-15 18:18

作者: 不吹不黑

时间: 2025-2-16 22:30

作者: 枫叶荻花秋瑟瑟

sanbinc 发表于 2025-2-15 14:27
独立显卡不能共享内存，大内存能发挥作用吗

独立显卡也能调用内存吧，硬盘控制器的DMA芯片就能操控内存啊

时间: 2025-2-17 10:09

作者: dmdrdmdr

200GB内存的配置下，使Q2_K_XL模型的推理速度达到9.1 tokens/s，实现了千亿级模型的 “家庭化” 运行。

作者你要不要看看你在说什么。

通信人家园 (https://www.txrjy.com/)