搜索
她是xAI前推理团队负责人。她研究并发起的开源推理引擎SGLang，已经成为众多大模型部署和推理的重要底层工具，也是目前AI infra领域最具影响力的开源推理框架之一。如今，她从SGLang开源生态中孵化出创业公司RadixArk，希望把只有少数科技巨头才能拥有的前沿AI基础设施，变成整个行业都可以使用的开放技术底座。
这家名为 PrismML 的初创公司表示，已将 Qwen 3.6 缩减至可在 iPhone 17 Pro 上运行，该模型拥有 270 亿参数（参数大致类似于大脑中的突触，能够帮助决定模型可处理数据的复杂性）。相比之下，大多数在手机上运行的模型一次仅有几十亿个参数处于活动状态。
随着AI浪潮的袭来，笔者本人以及团队都及时的调整了业务方向，转型为一名AI开发者和AI产品开发团队，常常需要微调大模型注入业务场景依赖的私域知识，然后再把大模型部署上线进行推理，以支撑业务智能体或智能问答产品的逻辑流程。
AI公务员的大脑就是政务大模型。 就在刚刚，中央网信办和国。就在刚刚，中央网信办和国家发展改革委联合印发了重磅文件——《政务领域人工智能大模型部署应用指引》（我们后面就叫它《指引》）。
为什么 DeepSeek-V3 据说在大规模服务时快速且便宜，但本地运行时却太慢且昂贵？为什么有些 AI 模型响应很慢，但一旦开始运行就变得很快？
AI非上云不可、非集群不能？万字实测告诉你，32B卡不卡？70B是不是智商税？要几张卡才能撑住业务？ 全网最全指南教你如何用最合适的配置，跑出最强性能。
部署 DeepSeek 系列模型，尤其是推理模型 DeepSeek-R1，已经成为一股不可忽视的潮流。