自回归解码阶段：固定上下文长度，每个输出词的平均耗时（Time per Output Token， TPOP），单位 ms；也可以用文本生成的速度定义（Text Generage, TG），单位也是 tokens/s。 在 PC 游戏和装机领域我们经常会听到 CPU 瓶颈、显卡瓶颈对游戏性能的影响。同样对于 LLM 推理 ...