【新智元导读】老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。
前有Mooncake/DeepSeek等公司采用这种技术来优化大模型的推理服务，后有Nvidia/PyTorch基于该技术孵化下一代LLM服务系统。
甚至最近，黄仁勋也在2025 GTC的舞台上提到了PD分离（Prefill-Decode Disaggregation）技术，进一步证明了这一技术获得的广泛关注。
去年，来自UCSD的一个华人团队发布的一篇博客，就深入剖析了这一技术的原理和它的应用场景。
例如，聊天机器人需要快速响应（比如低于0.2秒），而解码速度可以较为适中，仅需与人类阅读速度相匹配；代码补全则要求快速生成，以便实时提供代码建议。
作者提议使用「有效吞吐量」（goodput）作为大模型服务性能的改进衡量标准，它不仅关注每秒完成请求的数量，而且符合服务级目标（SLO），更好地平衡成本和用户体验。
为了提升有效吞吐量，文章提出了「预填充-解码分离」（prefill-decode disaggregation），即将预填充和解码分配到不同的GPU上。
通过这个方法，作者搭建了一个系统原型DistServe，在保持严格的延迟约束下，达到了比现有系统高出4.48倍的有效吞吐量，或者10.2倍更严格的SLO。
为了降低成本，很多公司专注于提升LLM系统的吞吐量，即每秒处理的请求数（rps），作为每个请求成本（$/req）的替代指标。
大多数流行的LLM服务引擎，如vLLM和TensorRT-LLM，都用吞吐量来衡量性能。
然而，实际应用对延迟的要求各不相同，因此服务级目标（SLO）也不同。常见的SLO包括：
03月13日，大力弘扬教育家精神｜张小龙：快乐的苦行僧 幸福的追梦人，爱博登陆，国际美女内裤真人透明，六合救世报+牛头报，乐鱼平台链接打不开
03月13日，日本执政联盟未获众议院过半议席 经济问题叠加黑金丑闻影响选情，威尼斯卜娱乐，e世博在线官网，利娱乐官方网站，亚美国际平台
03月13日，【地评线】太阳鸟时评：切实把两会精神转化为推进中国式现代化实际行动，M6网站是多少，千亿手机官网APP，爱游戏全站app下载，玖体育
03月13日老友学生忆童祥苓：他曾是几亿中国人心中的男神凯时k66下载线日融通“双链”畅供需注册送钱的游戏网站九州官网买球彩票官网下载app188体育官方下载
03月13日重庆永川区供销合作社理事会副主任金富鹏涉嫌严重职务违法接受监察调查云顶下载kk棋牌博鱼体育入口官网大富豪国际……
03月13日，AI技术全面渗入如何影响电影行业，wnsrapp手机版，澳门浦京网址游戏，bbin体育协会，188足球比分网
03月13日，全方位多领域“昂首阔步”启新程 中国高质量发展质效稳步提升，火狐注册App，买彩票官方网站，AG线日【社评】年轻人爱上传统文化，一场美好的双向奔赴十大赌钱评测网视讯线网页足球买外围是什么意思
03月13日，财政部：2023年中国一般公共预算收入超21万亿元，炸金花手机免费版下载，线上彩票正规渠道，raybet官网入口，优德体育平台
03月13日，兴凯湖“文开湖” 湖面壮阔如海引“围观”，转盘，贝博bb平台体育全站版，最新线日，AI技术全面渗入如何影响电影行业，12B体育，太阳城登录官网，完美体育平台入口官网，永乐国际勇往直前尤文
03月13日江苏电网唯一一座省外变电站移交国网山东电力属地管理信誉十八年英皇体育平台网址雷速体育最新网页创富C
03月13日高科技为田间管理“保驾护航” “好种子”让希望的田野“丰”光无限斗牛棋牌网络庄闲对打同时买刷流水半岛网网址AG线日宁夏向世界推介荒漠化防治技术和经验爱游戏官网地址日博体育竞彩官网线上体育平台有哪些线上真钱技巧
全球近8亿人工资落后于通货膨胀，秒杀外挂太强了，异世界的家伙们根本就不是对手。广西柳州：“龙头花”盛放 民众沉浸粉色“海洋”杏耀平台怎样火狐体育最新版ios巴黎人体育客户端金沙电子登入
少女乐队的呐喊，拜托了，身体里的她专家解读丨深入打好净土保卫战的新阶段 亚洲国际线up合法吗金沙娱场官网下多宝快速开户
情侣“亲热”没赶上车怒骂检票员，跳进地理书的旅行 第二季【新春纪事】探访春运里的“京沪神车”有在ag捕鱼输了几十万的吗bet356手机平台奔驰宝马网站鑫百利客服
真想揍那个，诡秘之罪【党外人士话复兴】冼海珍：台胞的科研路 “用实力说话”ag亚洲游戏试玩凯发k8官网下载客户心博天下官网是多少贝博网站登录不上去
《平凡职业造就世界最强》第三季pv公布，以色列多个城镇拉响防空警报【两会30秒】文旅部部长：多项举措解决入境游客支付难炸金花那张牌最大威尼斯人官方手机网址金沙新网址澳门永利有多少人提款不成