AI资讯新闻榜单内容搜索-Inferact

关键词: AI新闻,Inferact,TPU,megakernel

推理创业公司Inferact用自研的megakernel内核结合DeepSeek的DSpark推测解码框架，让16块谷歌TPU v7运行Kimi K3达到每秒709个token，比同条件下16块英伟达GB200快57%。

关键词: AI新闻,Inferact,vLLM,人工智能

大模型推理的基石 vLLM，现在成为创业公司了。