全文级解读arXiv · 预印本·无IF论文发表 2026-09-29解读发布 2026-10-05约 28 分钟读完

原文：vSkipper: Translating Dynamic Layer Skipping into LLM Serving Gains · 均分 -（0 人评分）

vSkipper：将动态层跳过转化为大语言模型服务增益（vSkipper: Translating Dynamic Layer Skipping into LLM Serving Gains）

导读

vSkipper 是一个创新的虚拟化层，专为解决动态层跳过（dynamic layer skipping）技术在大语言模型（LLM）服务引擎中的兼容性问题而设计。它通过提供可插拔的 RUN/Project-Only 接口，将 FlexiDepth 等跳过策略节省的计算量转化为实际的服务性能增益，显著降低了端到端延迟并提高了吞吐量。这项工作首次实现了在保持现代服务引擎核心优化（如连续批处理、分页 KV 缓存和捕获图）的同时，支持 per-token 的层跳过，对优化高负载 AI 推理系统具有重要意义。难度评级：★★★

一、背景知识卡

【卡1】动态层跳过（Dynamic layer skipping）

生活类比：想象一条装配流水线，每个产品（token）根据复杂度不同，无需经过所有工位（layers）。简单产品可跳过耗时步骤以加速生产，复杂产品则需全程处理，整体效率更高。
现象描述：在神经网络推理中，动态层跳过技术允许每个输入 token 仅执行模型的部分层（而非全部），基于其特性或上下文决定跳过哪些层，从而减少冗余计算。
英文原词：Dynamic layer skipping
浅数学：跳过率 $s$ 表示跳过的层比例，如 FlexiDepth 平均跳过 8/32 层（$s = 0.25$），节省浮点运算（FLOPs）量。

【卡2】大语言模型服务（LLM serving）

生活类比：类似餐厅服务系统，服务员（服务引擎）同时处理多个顾客（请求）的点单（输入），快速生成菜品（输出），并优化上菜顺序以减少等待。
现象描述：LLM 服务指部署训练好的大模型（如 Llama-3）以响应输入请求的完整流程，包括请求调度、模型执行和结果返回，需平衡延迟与吞吐量。
英文原词：LLM serving
浅数学：服务性能指标包括延迟（latency，单位秒）和吞吐量（throughput，单位 req/s）。

【卡3】服务引擎（Serving engine）

生活类比：如同交通管制中心，管理车辆（请求）进出（调度），优化路线（执行路径）以减少拥堵，确保高效通行。
现象描述：服务引擎是运行 LLM 的软件框架（如 SGLang），负责请求分发、资源管理和执行优化，核心目标是最大化吞吐量并最小化延迟。
英文原词：Serving engine
浅数学：引擎效率常用每秒输出 token 数（TPS）或请求数（RPS）衡量。

【卡4】批处理（Batch processing）

生活类比：超市收银台，收银员一次处理多个顾客（请求），而非逐个处理，以减少总等待时间。
现象描述：批处理将多个请求合并为一个批次统一执行，共享计算资源，提升硬件利用率，是服务引擎的基础优化手段。
英文原词：Batch processing
浅数学：批大小 $B$ 表示同时处理的请求数，吞吐量随 $B$ 增加而提升，但受内存限制。

【卡5】连续批处理（Continuous batching）

生活类比：流水线生产中，新产品（请求）无缝加入正在运行的批次，无需等待当前批次完成，动态调整批次大小。
现象描述：连续批处理允许新请求在执行中动态加入批次，避免固定批大小导致的空闲，显著提升高负载下的吞吐量。
英文原词：Continuous batching
浅数学：动态批大小 $B(t)$ 随时间变化，吞吐量 $\text{TPS} = \frac{\sum \text{output tokens}}{\text{time}}$。

【卡6】分页键值缓存（Paged KV caching）

生活类比：图书馆书架系统，书籍（键值对）按页（page）存放，频繁访问的书保留在内存，冷门书存硬盘，按需加载。
现象描述：KV 缓存存储注意力机制的键（key）和值（value）状态，分页管理将缓存划分为固定大小页，减少内存占用并加速访问。
英文原词：Paged KV caching
浅数学：缓存命中率 $H = \frac{\text{hits}}{\text{hits + misses}}$ 影响延迟，页大小 $P$ 通常为 128 tokens。

【卡7】捕获的解码图（Captured decode graphs）

生活类比：录制一段烹饪视频（图），厨师（GPU）按固定步骤操作，视频播放时无需重新规划，直接执行录制动作。
现象描述：服务引擎预编译解码阶段为 CUDA 图，捕获后可直接重用，避免重复计算，提升执行效率，但要求批次大小固定。
英文原词：Captured decode graphs
浅数学：图捕获在批次大小 $C$ 下进行，执行时间 $\text{latency} \propto C$。

【卡8】FlexiDepth（FlexiDepth 方法）

生活类比：智能导航系统，根据路况（token 特性）动态规划路线（层路径），简单路径跳过高速收费站（层），复杂路径全程通过。
现象描述：FlexiDepth 是一种动态层跳过方法，通过轻量级路由器为每个 token 选择层路径，平均跳过 20-30% 层，减少计算量。
英文原词：FlexiDepth
浅数学：跳过层比例 $s = 0.25$（Llama-3-8B），节省 FLOPs 约 25%。

【卡9】RUN/Project-Only 接口（RUN/Project-Only interface）

生活类比：开关控制系统，RUN 表示全速运行（执行完整层），Project-Only 表示节能模式（仅输出关键状态，跳过计算）。
现象描述：vSkipper 定义的标准接口，允许跳过策略指定每个 token 在层的选择：RUN（执行完整层）或 Project-Only（仅写 KV 状态，跳过注意力和 FFN）。
英文原词：RUN/Project-Only interface
浅数学：Project-Only 路径节省计算量，但需确保 KV 状态完整性。

【卡10】路由引导的队列执行（Route-guided cohort execution）

生活类比：分组快递分拣，包裹（token）按目的地（路由决策）分组，各组并行处理，最后重新组合到原队列位置。
现象描述：在层执行中，vSkipper 将相同路由决策的 token 分为队列（cohort），并行计算后散列回原批次位置，优化 GPU 利用率。
英文原词：Route-guided cohort execution
浅数学：队列大小 $n_r$ 和 $n_p$ 决定并行度，执行时间 $\propto \max(n_r, n_p)$。

【卡11】混合深度执行的不变量（Invariants for mixed-depth execution）

生活类比：交通规则，无论车辆（token）走哪条路（层），每个路口（层）必须记录位置信息（KV 状态），确保后续导航正确。
现象描述：vSkipper 保障正确性的关键规则：每个层必须写入自身 KV 状态；所有元数据（如注意力映射）需实时更新，避免 stale state。
英文原词：Invariants for mixed-depth execution
浅数学：Invariant 1 要求 KV 缓存 $\text{KV}_\ell(t)$ 由层 $\ell$ 的权重生成。

【卡12】盈利感知模式切换（Profitability-aware mode switching）

生活类比：智能空调，根据人数（负载）自动切换模式：人少时节能（dense 模式），人多时高效（routed 模式），避免无效运行。
现象描述：vSkipper 根据负载动态选择 dense（全层执行）或 routed（跳过执行）模式，仅在节省超过开销时启用 routed，优化性能。
英文原词：Profitability-aware mode switching
浅数学：切换阈值 $V^ = \frac{\tau \cdot \text{BW}}{s L_r b}$，$V > V^$ 时启用 routed（A100 约 158k tokens）。

【卡13】预填充和解码阶段（Prefill and decode phases）

生活类比：餐厅服务，预填充是厨师快速处理菜单（输入），解码是逐步上菜（生成输出），两者节奏不同需独立优化。
现象描述：LLM 推理分两阶段：预填充（prefill）处理输入 prompt（计算密集），解码（decode）逐步生成输出（内存密集），vSkipper 分别优化。
英文原词：Prefill and decode phases
浅数学：预填充时间 $\propto \text{prompt length}$，解码时间 $\propto \text{output length}$。

【卡14】浮点运算（FLOPs）

生活类比：工厂生产计数，每个产品（token）经过工位（层）的加工步骤（运算），总步骤数反映工作量。
现象描述：FLOPs 衡量计算量，动态层跳过通过减少层数量降低 FLOPs，但需确保服务引擎能转化为实际延迟减少。
英文原词：FLOPs
浅数学：跳过层比例 $s$ 节省 FLOPs 约 $s \times \text{total FLOPs}$。

【卡15】吞吐量（Throughput）

生活类比：公路车流量，单位时间通过车辆数（请求），反映道路（服务）效率，受拥堵（延迟）影响。
现象描述：吞吐量指服务引擎每秒处理的请求数（RPS）或输出 token 数（TPS），是核心性能指标，高负载时需优化以避免瓶颈。
英文原词：Throughput
浅数学：$\text{RPS} = \frac{\text{completed requests}}{\text{time}}$，饱和时达最大值。

【卡16】延迟（Latency）

生活类比：顾客等待时间，从下单（请求输入）到收到菜品（输出）的间隔，影响用户体验。
现象描述：延迟指请求从输入到输出的总时间（end-to-end latency），包括排队、计算和传输时间，是服务优化的关键目标。
英文原词：Latency
浅数学：平均延迟 $\bar{L} = \frac{1}{N} \sum_{i=1}^N L_i$，p99 延迟关注尾部性能。

【卡17】质量损失（Quality loss）

生活类比：快餐店为加速上菜减少配料（跳过步骤），可能导致菜品味道下降（输出质量），需平衡效率与品质。
现象描述：质量损失指因层跳过或服务优化导致的模型输出准确性下降，vSkipper 需确保无统计显著的质量损失。
英文原词：Quality loss
浅数学：质量差异 $\Delta Q = Q_{\text{base}} - Q_{\text{skip}}$，需满足 $|\Delta Q| < \epsilon$（如 GSM8K 任务 $\epsilon \approx 1\%$）。

二、Introduction 原文逐段精读

¶1

Not every token requires the full depth of an LLM. Dynamic layer-skipping methods exploit this observation by choosing, for each token, which layers to execute (Luo et al., 2025; He et al., 2025; Yang et al., 2025). FlexiDepth (Luo et al., 2025), for example, adds lightweight per-token routers to a pretrained model and skips 20–30% of its layers. Such methods reduce model computation without replacing the underlying transformer backbone. However, translating saved computation into batched serving gains is a separate execution problem.

[翻译]
并非每个 token 都需要 LLM（大语言模型）的全部深度。动态层跳过方法利用这一观察，通过为每个 token 选择执行哪些层来实现（Luo et al., 2025; He et al., 2025; Yang et al., 2025）。例如，FlexiDepth（Luo et al., 2025）在预训练模型中添加轻量级的 per-token routers（每 token 路由器），并跳过其 20–30% 的层。这类方法在不替换底层 transformer 主干的情况下减少模型计算量。然而，将节省的计算转化为批量服务增益是一个独立的执行问题。

[讲解]
本段开篇即点明核心问题：并非所有 token 都需要遍历模型所有层，这为动态跳过提供了理论基础。作者以 FlexiDepth 为例，引入关键术语 "per-token routers"（每 token 路由器），解释其作用是通过轻量级决策跳过部分层（20–30%），实现计算优化。写作上采用"问题-方案-挑战"结构：先指出 token 层次冗余（呼应【卡1：动态层跳过概念】），再举例说明方法，最后转折强调"执行问题"——暗示现有方案在服务引擎中效率低下。需注意 "transformer backbone" 指模型架构，而 "batched serving gains" 指批量处理时的性能提升，二者需区分。此处埋下伏笔：跳过虽节省计算，但未解决服务效率问题。

¶2

Modern LLM serving engines rely on regular batched execution, continuous batching, paged KV-cache management, and captured GPU graphs (Yu et al., 2022; Kwon et al., 2023; Zheng et al., 2024). These optimizations largely assume that tokens in a batch traverse every layer.

[翻译]
现代 LLM 服务引擎依赖规则化的批量执行、连续批处理、分页 KV 缓存管理和捕获的 GPU 图（Yu et al., 2022; Kwon et al., 2023; Zheng et al., 2024）。这些优化主要假设批次中的每个 token 都会遍历每一层。

[讲解]
本段聚焦服务引擎的现有优化，列出四项核心技术：regular batched execution（规则化批量执行）、continuous batching（连续批处理）、paged KV-cache management（分页 KV 缓存管理）、captured GPU graphs（捕获的 GPU 图）。术语 "KV-cache" 指键值缓存（key-value cache），用于存储注意力机制的中间结果；"captured graphs" 指预编译的 GPU 计算图，提升执行效率。写作上采用"技术罗列+隐含假设"结构，强调这些优化基于"全层遍历"前提（呼应【卡2：服务引擎假设】）。此处为下文冲突铺垫：动态跳过打破此假设，导致现有引擎无法直接受益。需警惕 "assume" 一词，暗示作者将论证跳过与优化的不兼容性。

¶3

Dynamic skipping breaks this regularity: at a given layer, some tokens execute the full computation while others bypass it. Released skippers therefore commonly use model-specific research execution paths and report FLOP savings (Luo et al., 2025), rather than gains in modern serving engines. The missing piece is an interface between layer skipping and the engine's batching, cache, and execution.

[翻译]
动态跳过打破这种规则性：在给定层上，一些 token 执行完整计算，而其他 token 则绕过它。因此，已发布的跳过器通常使用模型特定的研究执行路径并报告 FLOP 节省（Luo et al., 2025），而非现代服务引擎中的增益。缺失的环节是层跳过与引擎的批处理、缓存和执行之间的接口。

[讲解]
本段揭示动态跳过与现有引擎的核心矛盾。术语 "regularity" 指前段的全层遍历假设，"FLOP savings"（浮点运算节省）是计算优化指标，但作者指出其未转化为服务增益。写作上采用"冲突-现状-缺口"结构：先强调跳过破坏规则性（部分 token 跳层），再指出现有跳过器（如 FlexiDepth）仅报告 FLOP 节省，却无法集成到现代引擎（如 SGLang），最后点明核心问题：缺少接口（interface）。此处呼应【卡3：服务引擎优化】和【卡4：动态跳过局限性】，暗示 vSkipper 将填补此缺口。需注意 "bypass" 指跳过计算，但必须保留 KV 状态（后文详述）。

¶4

We present vSkipper, a serving virtualization layer for per-token interior layer skipping. vSkipper makes a dynamic skipper a pluggable component of the serving engine through a reusable interface. The skipping policy decides where each token skips, while vSkipper preserves the engine's batching, cache, and graph interfaces. We realize mixed-depth execution through a RUN/Project-Only interface. At each routed layer, vSkipper packs rows sharing a decision into cohorts and scatters their outputs back to the original batch positions. Project-Only rows bypass the layer's attention and FFN while still writing the KV state required by future tokens' attention computation. Since routing introduces overhead, vSkipper performs mode switching only when its estimated savings exceed the cost.

[翻译]
我们提出 vSkipper，一个用于 per-token 内部层跳过的服务虚拟化层。vSkipper 通过可重用接口，使动态跳过器成为服务引擎的可插拔组件。跳过策略决定每个 token 跳过哪些位置，而 vSkipper 保留引擎的批处理、缓存和图接口。我们通过 RUN/Project-Only 接口实现混合深度执行。在每个路由层，vSkipper 将共享决策的行（rows）打包成 cohorts（队列），并将它们的输出散射回原始批次位置。Project-Only 行绕过层的注意力机制和前馈网络（FFN），同时写入未来 token 注意力计算所需的 KV 状态。由于路由引入开销，vSkipper 仅在估算节省超过成本时执行模式切换。

[讲解]
本段详细介绍 vSkipper 的核心设计。关键术语包括：virtualization layer（虚拟化层）、pluggable component（可插拔组件）、RUN/Project-Only interface（运行/仅投影接口）、cohorts（队列，指共享决策的 token 组）、FFN（前馈网络，feed-forward network）、KV state（键值状态）。写作上采用"方案-机制-细节"结构：先定义 vSkipper 为虚拟化层，再解释其接口设计（分离策略与执行），最后详述混合深度执行机制——包括队列打包、散射输出、绕过 FFN 但保留 KV 状态。此处呼应【卡5：混合深度执行】和【卡6：模式切换】，强调其通过模式切换（mode switching）平衡开销与收益。需注意 "Project-Only" 指跳过层计算但写入 KV，确保后续 token 正确引用。

¶5

We implement vSkipper in SGLang and evaluate it against upstream SGLang using identical launch settings, prompts, arrivals and per-request output lengths. At the knee of upstream's load curve, mean end-to-end latency falls by 36.8% on GSM8K and 13.6% on BBH. Under saturation, request throughput rises by 11.3% and 7.4%. Serving introduces no statistically resolved quality loss beyond that of the checkpoint, and under load we find no resolved quality difference from routing every pass at the knee. To our knowledge, vSkipper is the first serving system to realize serving-efficiency gains from per-token interior whole-layer skipping within a modern LLM serving engine.

[翻译]
我们在 SGLang 中实现 vSkipper，并使用相同的启动设置、提示词、到达速率和每请求输出长度，对比上游 SGLang 进行评估。在上游负载曲线的拐点处，GSM8K 上的平均端到端延迟降低 36.8%，BBH 上降低 13.6。在饱和状态下，请求吞吐量提升 11.3% 和 7.4%。服务引入的统计上可分辨的质量损失不超过检查点自身的损失，在负载下，我们发现每层路由与全路由在质量上无显著差异。据我们所知，vSkipper 是首个在现代化 LLM 服务引擎中实现 per-token 内部全层跳过服务增益的系统。

[讲解]
本段展示 vSkipper 的实验结果。术语包括：upstream SGLang（上游 SGLang，指基准实现）、knee of load curve（负载曲线拐点，指性能临界点）、end-to-end latency（端到端延迟）、request throughput（请求吞吐量）、statistically resolved quality loss（统计上可分辨的质量损失）。写作上采用"实现-对比-成果"结构：先说明实现环境（SGLang），再列出关键数据——延迟降低（36.8%/13.6%）、吞吐量提升（11.3%/7.4%），并强调无额外质量损失。此处呼应【卡7：性能评估】和【卡8：质量保证】，突出 vSkipper 的首创性（first serving system）。需注意 "checkpoint" 指跳过检查点（如 FlexiDepth），其质量损失是基准；"routing every pass" 指全路由模式，用于对比验证。

¶6

Our contributions are:
(1) A virtualization layer for skippers. We introduce a whole-layer RUN/Project-Only interface that makes per-token skip policies pluggable components of a modern serving engine without redesigning its scheduler or memory manager (§ 3).
(2) Mixed-depth execution. We develop route-guided cohort execution for heterogeneous per-token paths within captured graphs (§ 3.1), establish the invariants required for correct dynamic-depth execution (§ 3.2), and introduce profitability-aware mode switching (§ 3.3).
(3) A controlled evaluation. We compare vSkipper with upstream SGLang under matched work and launch settings, and separate checkpoint quality from serving effects. We then demonstrate how the same implementation generalizes beyond FlexiDepth across nine synthetic skip policies, two Qwen3 skippers in addition to Llama-3-8B, three workloads, and A100, H100, and RTX A6000 GPUs, without workload-specific tuning (§ 4).

[翻译]
我们的贡献是：
(1) 跳过器的虚拟化层。我们引入全层 RUN/Project-Only 接口，使 per-token 跳过策略成为现代服务引擎的可插拔组件，无需重新设计其调度器或内存管理器（§ 3）。
(2) 混合深度执行。我们在捕获的图中开发基于路由的队列执行，用于异构的 per-token 路径（§ 3.1），建立正确动态深度执行所需的恒定条件（§ 3.2），并引入感知收益的模式切换（§ 3.3）。
(3) 受控评估。我们在匹配的工作和启动设置下比较 vSkipper 与上游 SGLang，并将检查点质量与服务效应分离。然后我们展示相同实现如何超越 FlexiDepth，扩展到九种合成跳过策略、两个 Qwen3 跳过器（除 Llama-3-8B 外）、三种工作负载，以及 A100、H100 和 RTX A6000 GPU，无需针对工作负载调整（§ 4）。

[讲解]
本段总结三大贡献，采用编号条目结构。关键术语：virtualization layer（虚拟化层）、whole-layer interface（全层接口）、route-guided cohort execution（基于路由的队列执行）、invariants（恒定条件，指执行正确性约束）、profitability-aware mode switching（感知收益的模式切换）、controlled evaluation（受控评估）。写作上清晰对应前文：贡献(1)对应接口设计（呼应【卡9：可插拔性】），贡献(2)对应执行机制（呼应【卡10：混合深度】），贡献(3)对应泛化能力（呼应【卡11：跨模型/硬件】）。需注意 "invariants" 指动态执行中的不变式（如 KV 状态完整），"without workload-specific tuning" 强调无需人工调整，体现通用性。此处为全文收尾，突出 vSkipper 的完整解决方案。

三、正文解读（Results）

4.1 实验设置

实验设计旨在严格评估vSkipper的性能，确保可比性和可重复性。实验设置包括三个关键部分：工作负载选择、硬件配置和指标定义。

工作负载：论文使用了三种标准工作负载，覆盖不同的计算特征（表1）： - GSM8K：数学推理任务，采用5-shot提示模板，输出短（平均116 tokens），请求量高（Q = 13 req/s），延迟主要来自prefill阶段。 - BBH：链式思维任务，3-shot提示，输出长（平均255 tokens），请求量中等（Q = 34 req/s），prefill和decode均衡。 - CoQA：对话问答，原始补全，输出极短（43%在5 tokens内），请求量低（Q* = 25 req/s），decode阶段集中。

实验流程采用「A → B → C」步骤：A. 生成固定数量的提示和输出长度（基于基线SGLang的自然生成）；B. 使用泊松到达流，在相同硬件上交替运行vSkipper和上游SGLang；C. 在三个负载点（0.75×Q、0.95×Q、1.25×Q）测量性能，其中Q是基线吞吐量峰值。所有实验使用ignore_eos确保输出长度匹配，排除生成行为干扰。

硬件配置：测试在NVIDIA A100-SXM4-80GB上进行，无其他租户。vSkipper作为SGLang分支实现，保持相同的内存管理（静态内存分数0.8）、注意力后端（Triton）和前缀缓存。关键参数包括： - 图形捕获：固定批大小（最大1024行），确保GPU图重用。 - 模型：Llama-3-8B（FlexiDepth检查点，跳过最后16/32层），fp16精度。 - 模式切换：decode阶段在V ≥ 200k tokens时启用路由，V ≤ 160k时禁用（hysteresis band）；prefill阶段在批≥1536 tokens且跳过率>0.35时启用。

指标定义： - 性能指标：端到端延迟（E2E）、首令牌时间（TTFT）、输出令牌时间（TPOT）、饱和吞吐量（TPS和RPS在1.25×Q注入窗口内）。 - 质量指标：使用lm-eval框架，GSM8K用复合精确匹配，BBH用精确匹配，CoQA用F1分数。质量分离采用2×2设计（基线模型 vs 检查点，原生 vs 服务），计算差异差异（DiD）以隔离服务影响。 - 统计*：主要实验重复6次，报告均值和95% t区间；差异显著当区间不包含零。

4.2 服务比较（Q1）

本节评估vSkipper是否将FlexiDepth的计算节省转化为服务增益，核心结果来自表2、表3和表4。

表2：匹配工作负载性能
表2比较了vSkipper与上游SGLang的延迟变化（百分比），负值表示改进。关键数据包括： - GSM8K（prefill主导）：在knee（0.95×Q）处，E2E降低36.8% ± 2.0%，p99降低37.3% ± 2.5%。TTFT改善最显著（-66.0% ± 6.8%），因prefill路由缩短了初始计算。饱和时（1.25×Q），RPS提升11.3% ± 0.2%。 - BBH（decode主导）：在knee处，E2E降低13.6% ± 1.2%，TPOT改善-14.6% ± 1.4%。饱和时RPS提升7.4% ± 0.3%。 - CoQA（decode集中）：改进较小，E2E在knee仅-4.0% ± 4.4%，因prefill路由不适用。

图1：计算节省不等于时间节省
图1展示了FlexiDepth基线与标准生成循环的吞吐量对比：批大小1时，尽管跳过8/32层，吞吐量反而下降21.0%；批大小8时下降14.6%。这证明路由开销抵消了节省，凸显了vSkipper的必要性。

表3：机制消融
表3通过ablation分析贡献来源： - GSM8K kink：prefill路由单独贡献-35.6% E2E改进；decode路由贡献-14.3%。混合模式（served）达-36.8%，"always route"过优化导致-46.5%但牺牲吞吐。 - 模式切换价值：禁用切换（no promotion）将GSM8K kink增益降至-32.6%，说明动态切换优化了成本效益。

表4：饱和吞吐量
表4显示在1.25×Q过载点： - GSM8K：TPS +10.4% ± 0.3%，RPS +11.3% ± 0.2%，因队列缩短放大了计算节省。 - BBH：TPS +4.1% ± 0.4%，RPS +7.4% ± 0.3%。 - CoQA*：无显著变化（TPS -1.0% ± 1.6%），因长尾请求（2%生成>4096 tokens）占94%输出，vSkipper仅改善makespan 7.0–7.8%。

实验流程可概括为：A. 在相同硬件上运行vSkipper和SGLang；B. 使用固定提示、到达和输出长度；C. 在负载点测量延迟和吞吐量，验证路由仅在节省超过成本时启用（如A100上V > 158k tokens）。

4.3 任务质量（Q2）

本节评估vSkipper是否引入额外质量损失，核心结果来自表5。

表5：质量评估
表5采用2×2设计分离检查点和服务影响： - 基线 vs 检查点：FlexiDepth自身导致GSM8K准确率下降3.26 pp（77.41% → 74.15%），BBH下降8.39 pp（68.04% → 59.65%），CoQA微升0.68 pp。 - 服务影响（DiD）：vSkipper服务添加的损失不显著：GSM8K -0.23 ± 0.68 pp（区间含零），BBH +0.45 ± 0.55 pp，CoQA +0.07 ± 0.12 pp。证明服务无额外质量损失。 - 混合模式 vs always route：在knee负载下，无显著差异（GSM8K -0.08 ± 1.46 pp），说明模式切换不影响质量。

关键数字：例如，GSM8K在vSkipper服务下准确率74.00%，与基线77.63%的差异仅来自检查点本身。论文强调："Serving adds no statistically resolved quality loss beyond the checkpoint’s own"。

4.4 通用性（Q3）

本节验证vSkipper跨策略、模型、硬件的泛化能力，结果来自表6、表7、图3和图4。

图3：随机跳过策略的增益映射
图3展示9种RandomSkip策略（跳过率r × 路由层d）在GSM8K kink的E2E变化： - 坐标轴：x轴为路由层跳过比例d（25%, 50%, 75%），y轴为跳过行比例r（25%, 50%, 75%）。 - 曲线解读：高跳过策略（如r=75%, $d = 75\%$）增益最大（-49.1%），但低跳过（如r=25%, $d = 25\%$）可能损失+23.8%。模式切换（per-policy thresholds）避免无效路由，保留增益。 - 关键数字：s = r × d = 3/16时增益开始显著，s > 1/4时稳定负值。

表6：跨模型比较
表6在GSM8K kink测试Qwen3模型： - Llama-3-8B：跳过率0.504，E2E -36.8% ± 2.0%，质量损失-3.64 ± 2.22 pp。 - Qwen3-4B：跳过率0.119（低），E2E无显著变化（+2.7% ± 2.8%），因路由不划算。 - Qwen3-8B：跳过率0.416，E2E -6.6% ± 0.3%，质量损失-4.47 ± 2.33 pp。增益随跳过率增加，证明接口通用。

表7：硬件迁移
表7在H100和RTX A6000测试GSM8K： - H100：kink处E2E -39.4% ± 0.2%，TPOT -31.4% ± 7.6%。 - RTX A6000：kink处E2E -30.0% ± 4.2%，TPOT -23.0% ± 5.0%。 - 规则适用性：阈值按$V^{*} = \frac{\tau \cdot \text{BW}}{s L_r b}$动态调整（如H100 BW更高，阈值更低），无需调参。

实验流程：A. 训练Qwen3跳过器（仅第一阶段）；B. 在不同硬件运行相同vSkipper实现；C. 验证执行路径仅需模型特定钩子（如Qwen3的KV归一化）。

四、结论与讨论

结论要点

论文的核心结论是vSkipper成功将动态层跳过转化为现代LLM服务引擎的实际增益： 1. 服务增益：在匹配工作负载下，vSkipper在GSM8K和BBH的kink处分别降低E2E延迟36.8%和13.6%，饱和时提升吞吐量11.3%（GSM8K RPS）和7.4%（BBH RPS）。增益主要来自prefill路由（GSM8K）或decode路由（BBH），通过混合执行和模式切换优化。 2. 质量保证：服务本身不引入额外质量损失（DiD不显著），质量变化仅来自检查点固有权衡（如FlexiDepth导致GSM8K准确率下降3.26 pp）。 3. 通用性：框架跨FlexiDepth、Qwen3模型、三种硬件（A100/H100/RTX A6000）和九种策略有效，仅需最小适配（如模型特定投影）。新跳过器可复用接口，无需重调度器或内存管理器。

论文承认的局限

论文诚实地指出了多个局限，这些是信息量最大的部分： 1. 未覆盖的模型和引擎：当前实现仅针对Llama-3和Qwen3家族，未测试其他模型（如BERT）。服务引擎仅集成SGLang，未扩展到vLLM或Orca，限制了通用性。 2. 分布式服务缺失：vSkipper仅在单GPU验证，未支持分布式场景（如tensor/pipeline并行）。论文承认："Separate prefill and decode modes naturally fit disaggregation, while tensor and pipeline parallelism require routing-aware execution across devices"，这是未来关键挑战。 3. 子层跳过未支持：接口仅支持全层跳过（RUN/Project-Only），未覆盖子层方法（如AdaSkip），需扩展以适应更细粒度策略。 4. 质量-效率权衡的边界：质量损失虽不显著，但检查点固有下降（如BBH 8.39 pp）未被消除，且论文未详述如何通过跳过器训练进一步优化此权衡。 5. 硬件特定开销：模式切换阈值依赖设备带宽和模型参数，在低资源设备（如RTX A6000）上增益较小（E2E -30.0% vs H100 -39.4%），可能影响部署可行性。

展望：下一张支票开在哪里

论文的未来工作聚焦三个方向，指向下一张研究支票： 1. 扩展服务引擎支持：将vSkipper接口适配到更多LLM后端（如vLLM的PagedAttention），并集成子层跳过（如AdaSkip），以覆盖更广泛的动态计算场景。 2. 分布式服务优化：探索在tensor/pipeline并行中实现路由感知执行，利用层跳过平衡流水线负载，论文指出："assigning stages using profiled skip rates could balance dynamic work and translate layer skipping into pipeline-level gains"。 3. 质量-效率联合优化：通过跳过器训练（如Qwen3的持续训练）提升跳过率和准确率，减少固有质量损失，并研究服务层质量监控机制。

总体而言，vSkipper证明了动态层跳过在现代服务引擎中的可行性，但需向分布式、多引擎和子层扩展以释放全部潜力。

五、关键术语表

六、和你的关系

• 课程衔接：vSkipper的动态层跳过和盈利感知模式切换概念，与光电学院将学的电磁学和物理光学中的资源分配优化高度相关。例如，在光子集成电路中，动态调整光路以优化信号传输（类似vSkipper动态调整计算路径），这可以帮助你在学习电磁学时，类比理解计算优化中的动态决策机制，将抽象概念应用于实际系统设计。

• 方向选择/毕设/就业启示：该研究展示了AI服务优化在集成电路和光子学中的交叉应用前景。对于毕设，你可以探索光子计算中的动态资源分配算法，或设计高效的光子-电子混合推理系统；就业上，关注AI加速芯片（如NVIDIA GPU优化）、光子AI（光子计算加速）或高效推理系统开发（如SGLang扩展），这些是当前产业热点。值得跟踪的后续指标包括：LLM服务引擎的新技术（如分布式层跳过）、动态计算在光子学中的集成进展（如光子集成电路的实时优化），以及跨学科应用（如机器人中的实时决策优化）。

七、知识增量

• 新接触的概念：dynamic layer skipping, vSkipper, serving engine, cohort execution, Project-Only, route tape, invariants, profitability-aware mode switching, mode switching, prefill, decode, throughput, latency, end-to-end latency, TTFT, TPOT, RPS, TPS, GSM8K, BBH, CoQA, Qwen3, Llama-3-8B, SGLang, A100, H100, RTX A6000, roofline model, arithmetic intensity, FLOPs, bandwidth, KV cache, prefix cache, admission control, Poisson arrivals, knee of load curve, saturation, quality loss, DiD

• 读论文的元技能：

• 性能实验设计解读：学习如何设计匹配工作负载的实验，如使用相同的提示词、到达率和输出长度来公平比较不同系统（如vSkipper vs. SGLang），这可迁移到任何性能评估研究，确保结果可比性。
• 质量评估方法：掌握使用差异差异（DiD）方法分离 serving 效果和模型自身效果，例如在表5中通过2×2设计量化serving引入的质量变化，这在评估系统优化时避免混淆变量。
• 系统抽象理解：理解虚拟化层和可插拔接口的设计思想，如vSkipper如何在不改变底层引擎（如SGLang）的情况下添加新功能，这有助于阅读其他系统论文时快速抓住核心创新点。

延伸阅读

• 原文链接：https://doi.org/10.48550/arxiv.2609.37062
• 相关资源：
• FlexiDepth论文：https://arxiv.org/abs/2405.07277（动态层跳过方法的基础研究）
• SGLang系统：https://github.com/sgl-project/sglang（高效LLM服务引擎的官方实现）
• vLLM：https://github.com/vllm-project/vllm（另一个流行的LLM服务引擎，支持批处理优化）
• Orca：https://arxiv.org/abs/2208.07466（分布式服务系统，用于大规模LLM推理）

补充背景知识卡

【卡18】屋顶线模型（Roofline model）

生活类比：想象工厂的生产线，设备算力（屋顶）和原料供应速度（带宽）共同决定最大产能。当原料充足时，设备满速生产（计算受限）；当原料不足时，设备等待原料（带宽受限）。
现象描述：屋顶线模型是性能分析工具，可视化计算和内存带宽限制，帮助识别性能瓶颈。纵轴为性能（如TFLOPS），横轴为算术强度（FLOPs/字节），斜线代表设备带宽上限，水平线代表峰值计算能力。
英文原词：Roofline model
浅数学：性能 $P = \min(\text{peak compute}, \text{BW} \cdot \text{arithmetic intensity})$，其中BW为带宽（TB/s），算术强度 $I = \text{FLOPs}/\text{bytes}$。

【卡19】算术强度（Arithmetic intensity）

生活类比：厨师烹饪时，切菜（计算）和取料（内存访问）的频率比。切菜多取料少时算术强度高（计算受限），取料多切菜少时强度低（带宽受限）。
现象描述：算术强度指单位数据量对应的计算量（FLOPs/字节），决定任务受计算还是带宽限制。LLM预填充阶段算术强度高（计算受限），解码阶段算术强度低（带宽受限）。
英文原词：Arithmetic intensity
浅数学：$I = \frac{\text{FLOPs}}{\text{bytes}}$，例如注意力计算 $I \approx 100$（计算受限），KV缓存读写 $I \approx 0.1$（带宽受限）。

【卡20】浮点运算（FLOPs）

生活类比：工厂流水线的加工步骤数，每个产品（token）经过工位（层）的工序数越多，总步骤（FLOPs）越大。
现象描述：FLOPs（Floating-point Operations）量化计算量，动态层跳过通过减少层数降低FLOPs，但需区分理论节省（FLOPs）和实际节省（延迟）。
英文原词：FLOPs
浅数学：跳过层比例 $s$ 节省 FLOPs 约 $s \times \text{total FLOPs}$，但实际延迟还受内存访问影响（如图1所示）。

【卡21】带宽（Bandwidth）

生活类比：高速公路的车道数，车道越多（带宽越大），单位时间通过的车辆（数据）越多。
现象描述：带宽指内存或总线的数据传输速率（如GB/s），影响带宽受限任务（如KV缓存读写）的性能。解码阶段因频繁读取KV缓存，性能受带宽限制。
英文原词：Bandwidth
浅数学：吞吐量 $\text{TPS} = \frac{\text{BW}}{\text{bytes per token}}$，例如A100带宽1.6TB/s，单token $KV缓存4KB时理论最大TPS = 400k tokens/s$。

【卡22】KV缓存（KV cache）

生活类比：图书馆的借书卡，记录读者（token）当前章节（位置）的笔记（键值），后续读者可直接参考无需重读全书。
现象描述：KV缓存存储注意力机制的键（key）和值（value）状态，避免重复计算上下文信息，是解码阶段的核心优化。分页管理按需加载，减少内存占用。
英文原词：KV cache
浅数学：缓存大小 $C = L \times H \times B$，其中$L$为序列长度，$H$为隐藏层维度，$B$为批大小。

【卡23】前缀缓存（Prefix caching）

生活类比：餐厅的预制菜，将常用前菜（共享前缀）批量制作，点餐时直接添加而非从头烹饪。
现象描述：前缀缓存存储共享提示词的KV状态，新请求复用相同前缀时跳过计算，提升批处理效率。例如多个用户问"什么是量子计算？"时复用前缀计算。
英文原词：Prefix caching
浅数学：缓存命中率 $H = \frac{\text{shared prefix length}}{\text{total prompt length}}$，命中率越高节省越多。

【卡24】准入控制（Admission control）

生活类比：夜总会门口的保安，根据现场人数（负载）决定放行新顾客（请求），避免过载崩溃。
现象描述：准入控制动态接受或拒绝新请求，防止系统过载导致延迟飙升。通常结合负载预测，在饱和时拒绝新请求或降低质量（如缩短输出）。
英文原词：Admission control
浅数学：拒绝率 $R = \frac{\text{rejected requests}}{\text{total arrivals}}$，当负载 $L > L_{\max}$ 时触发。

【卡25】泊松到达（Poisson arrivals）

生活类比：公交站乘客随机到站，高峰时段乘客密集（高λ），低峰时段稀疏（低λ），但到站间隔遵循指数分布。
现象描述：泊松到达模拟真实请求流，事件间隔服从指数分布，参数λ为平均到达率。实验中通过λ控制负载，模拟高/低峰场景。
英文原词：Poisson arrivals
浅数学：到达间隔 $t \sim \text{Exp}(\lambda)$，期望间隔 $E[t] = 1/\lambda$。

【卡26】负载曲线拐点（Knee of load curve）

生活类比：弹簧秤的弹性极限，拉力（负载）增大到拐点后，伸长（延迟）急剧上升，弹簧失去弹性。
现象描述：负载曲线中，拐点是性能开始下降的临界点（如吞吐量达峰后延迟激增）。优化系统需识别拐点，在拐点以下运行以保持低延迟。
英文原词：Knee of load curve
浅数学：拐点 $Q^$ 满足 $\frac{d\text{throughput}}{dQ} = 0$，vSkipper在0.95×$Q^$处测试。

【卡27】饱和（Saturation）

生活类比：地铁早高峰，车厢满员（饱和）时乘客无法上车，需等待下一班（排队），导致整体效率下降。
现象描述：饱和指服务引擎满负载运行，吞吐量达峰值但延迟开始上升。此时资源（GPU、内存）完全占用，任何新请求需排队，是系统瓶颈。
英文原词：Saturation
浅数学：饱和吞吐量 $\text{TPS}_{\max} = \frac{\text{GPU compute capacity}}{\text{FLOPs per token}}$。

【卡28】质量损失（Quality loss）

生活类比：快餐店为加速上菜减少配料（跳过步骤），可能导致菜品味道下降（输出质量），需平衡效率与品质。
现象描述：质量损失指因层跳过或服务优化导致的模型输出准确性下降，vSkipper需确保无统计显著的质量损失。
英文原词：Quality loss
浅数学：质量差异 $\Delta Q = Q_{\text{base}} - Q_{\text{skip}}$，需满足 $|\Delta Q| < \epsilon$（如GSM8K任务$\epsilon \approx 1\%$）。

【卡29】差异差异（DiD）

生活类比：医学试验中的安慰剂效应，通过"试验组-对照组"在试验前后的差异差异，排除自愈等干扰因素。
现象描述：DiD（Difference-in-Differences）是因果推断方法，通过比较"处理组vs对照组"在"处理前vs处理后"的差异，分离处理效应。在质量评估中用于分离serving影响和模型自身影响。
英文原词：Difference-in-Differences
浅数学：$\text{DiD} = (Q_{\text{skip, after}} - Q_{\text{skip, before}}) - (Q_{\text{base, after}} - Q_{\text{base, before}})$。

补充讲解：Introduction第4段逐句拆解（最难段落）

原文逐句拆解

"We present vSkipper, a serving virtualization layer for per-token interior layer skipping."
- 拆解：主语"we"（作者团队），谓语"present"（提出），宾语"vSkipper"（系统名），后置定语"a serving virtualization layer"（虚拟化层类型）和"for per-token interior layer skipping"（目的）。
- 关键点："per-token interior"强调跳过发生在模型内部层（非输入/输出层），"virtualization"指抽象层，不修改底层引擎。

"vSkipper makes a dynamic skipper a pluggable component of the serving engine through a reusable interface."
- 拆解：主语"vSkipper"，谓语"makes"，宾语"a dynamic skipper"（动态跳过器），补语"a pluggable component"（可插拔组件），方式状语"through a reusable interface"（通过可重用接口）。
- 关键点："pluggable"强调即插即用，无需重写引擎；"reusable interface"指同一接口可适配不同跳过器（如FlexiDepth/Qwen3）。

"The skipping policy decides where each token skips, while vSkipper preserves the engine's batching, cache, and graph interfaces."
- 拆解：分句1（The skipping policy...skips）——策略决定跳过位置；分句2（while vSkipper...interfaces）——vSkipper保留引擎核心优化。
- 关键点："while"对比策略与执行分离；"preserves"强调兼容性，不破坏批处理、缓存和图捕获等优化。

"We realize mixed-depth execution through a RUN/Project-Only interface."
- 拆解：主语"we"，谓语"realize"，宾语"mixed-depth execution"（混合深度执行），方式状语"through a RUN/Project-Only interface"（通过特定接口）。
- 关键点："mixed-depth"指不同token走不同层路径；接口定义两种模式：RUN（全执行）和Project-Only（跳过计算但写KV）。

"At each routed layer, vSkipper packs rows sharing a decision into cohorts and scatters their outputs back to the original batch positions."
- 拆解：时间状语"At each routed layer"，主语"vSkipper"，并列谓语"packs"和"scatters"。
- 关键点："rows"指token的隐藏状态行；"cohorts"是共享决策的组；"scatters"将结果散列回原位置，保证顺序正确。

"Project-Only rows bypass the layer's attention and FFN while still writing the KV state required by future tokens' attention computation."
- 拆解：分句1（Project-Only rows...FFN）——跳过计算；分句2（while still writing...computation）——但写入KV状态。
- 关键点："FFN"（前馈网络）是层内计算组件；"KV state"是未来token的注意力输入，确保正确性（呼应Invariant 1）。

"Since routing introduces overhead, vSkipper performs mode switching only when its estimated savings exceed the cost."
- 拆解：原因状语从句"Since routing introduces overhead"，主句"vSkipper performs mode switching"（执行模式切换），条件状语"only when...cost"（仅在节省超成本时）。
- 关键点："overhead"指路由决策和队列管理的开销；"mode switching"指动态选择dense/routed模式，避免无效优化。

补充讲解：Introduction第5段逐句拆解（实验结果段落）

原文逐句拆解

"We implement vSkipper in SGLang and evaluate it against upstream SGLang using identical launch settings, prompts, arrivals and per-request output lengths."
- 拆解：并列谓语"implement"和"evaluate"。
- 关键点："upstream SGLang"指原始实现；"identical"确保公平性，排除参数差异干扰。

"At the knee of upstream's load curve, mean end-to-end latency falls by 36.8% on GSM8K and 13.6% on BBH."
- 拆解：地点状语"At the knee..."，主语"mean end-to-end latency"，谓语"falls"，幅度状语"by 36.8%..."。
- 关键点："knee"是负载拐点（性能临界点）；GSM8K（数学推理）和BBH（复杂任务）的延迟降幅差异，反映任务特性影响。

"Under saturation, request throughput rises by 11.3% and 7.4%."
- 拆解：条件状语"Under saturation"，主语"request throughput"，谓语"rises"，幅度状语"by 11.3%..."。
- 关键点："saturation"指满负载；吞吐量提升小于延迟降幅，因饱和时资源瓶颈转移。

"Serving introduces no statistically resolved quality loss beyond that of the checkpoint, and under load we find no resolved quality difference from routing every pass at the knee."
- 拆解：分句1（Serving introduces...checkpoint）——服务无额外质量损失；分句2（and under load...knee）——全路由模式无差异。
- 关键点："statistically resolved"指统计显著；"checkpoint"指跳过器自身损失（如FlexiDepth导致GSM8K下降3.26pp）。

"To our knowledge, vSkipper is the first serving system to realize serving-efficiency gains from per-token interior whole-layer skipping within a modern LLM serving engine."
- 拆解：插入语"To our knowledge"，主语"vSkipper"，系表结构"is the first...system"，后置定语"to realize...gains"。
- 关键点："first"强调首创性；"modern serving engine"指集成连续批处理等优化的引擎（如SGLang）。

补充正文解读：图1细节与直觉解释

图1：计算节省不等于时间节省

图示内容：
- X轴：批大小（Batch size），取值1和8。
- Y轴：解码吞吐量（Decode throughput），单位为tokens/s。
- 两组柱状图：
- FlexiDepth（浅灰）：跳过8/32层的模型。
- Base Model（深灰）：原始Llama-3-8B模型。
- 数据标注：
- 批大小1：FlexiDepth比Base慢21.0%。
- 批大小8：FlexiDepth比Base慢14.6%。

读图细节：
1. 反直觉现象：尽管FlexiDepth跳过25%层（节省计算），吞吐量反而下降，证明计算节省≠服务增益。
2. 批大小影响：批大小1时损失更严重（21.0% vs 14.6%），因路由开销在单请求中占比更高。
3. 柱状图对比：Base Model柱状图更高，说明原始引擎更高效；FlexiDepth柱状图较低，反映路由开销抵消了计算节省。

直觉解释：
- 路由开销：FlexiDepth需为每个token决策跳过层，决策本身消耗GPU时间（如读取路由权重、执行条件判断）。
- 批大小效应：
- 批大小1：单token需单独决策，开销占比大，如同"为1个顾客单独点餐，点餐时间超过用餐时间"。
- 批大小8：8个token共享决策开销，分摊后损失减少，如同"8人拼单点餐，点餐时间被稀释"。
- 引擎假设冲突：原始引擎假设所有token走相同路径，而跳过导致路径分化，破坏批处理效率（如内存访问不连续）。

技术启示：
- 关键结论：动态跳过需适配服务引擎，vSkipper通过队列执行（cohort execution）解决路径分化问题。
- 数据佐证：图1数据直接引出vSkipper的必要性——现有跳过器在标准引擎中效率低下。

补充正文解读：图3细节与直觉解释

图3：随机跳过策略的增益映射

图示内容：
- X轴：路由层跳过比例（d），取值25%、50%、75%。
- Y轴：跳过行比例（r），取值25%、50%、75%。
- 热力图：
- 颜色越深（蓝）表示E2E延迟降低越多（增益越大）。
- 颜色越浅（红）表示延迟增加（损失越大）。
- 等高线：虚线标注"per-policy thresholds"，表示模式切换的盈利边界。

读图细节：
1. 增益区域：
- 右上角（$r = 75\%, d=75\%$）：增益最大（-49.1%），因高跳过率节省大量计算。
- 左下角（$r = 25\%, d=25\%$）：损失最大（+23.8%），因路由开销超过节省。
2. 盈利边界：
- 虚线穿过热力图，区分"盈利区"（蓝色）和"亏损区"（红色）。
- 边界形状：d固定时，r需达到某阈值才盈利；反之亦然。
3. 模式切换价值：
- 没有虚线时，所有策略均执行（包括亏损区）；
- 有虚线时，仅执行盈利策略，避免无效路由。

直觉解释：
- 跳过率与收益关系：
- 高跳过率（如r=75%, $d = 75\%$）如同"75%产品跳过质检，直接出厂"，节省大量时间。
- 低跳过率（如r=25%, $d = 25\%$）如同"25%产品走特殊通道，但通道建设成本高"，净损失。
- 模式切换机制：
- 虚线代表"开关"：当预测跳过收益超过成本时，才启用路由。
- 例如：d=50%时，r需>40%才启用（虚线以上），否则走全层路径（dense mode）。
- 硬件依赖：
- A100上盈利边界由$V^* = \frac{\tau \cdot \text{BW}}{s L_r b}$决定（BW高→阈值低），解释不同硬件的增益差异。

技术启示：
- 关键结论：跳过策略需结合跳过率和路由层比例，vSkipper的模式切换自动筛选盈利策略。
- 泛化证据：图3覆盖9种策略，证明框架不依赖特定跳过器，可适配任意策略。

补充正文解读：表格数据补充说明

表2：匹配工作负载性能（关键数据解读）

表5：质量评估（DiD方法解析）

表7：硬件迁移（阈值动态调整）

补充正文解读：实验设置细节补充

硬件配置与参数优化

GPU捕获策略：
- 图形捕获在固定批大小（$C = 1024$）下进行，确保GPU图重用。
- 动态批大小通过"静态网格+退出机制"实现：网格按最大批大小（1024）启动，实际队列大小（$n$, $n$）通过tile退出优化，避免资源浪费。

模式切换阈值公式：
$$V^ = \frac{\tau \cdot \text{BW}}{s L_r b}$$
- 参数：$\tau$=2.67ms（路由开销），BW=带宽（$A100 = 1.55TB/s$），s=跳过率（0.5），$L_r$=路由层数（16），b=KV大小（4KB）。
- A100计算：$V^ \approx 158k$ tokens，实验采用hysteresis band（200k启用，160k禁用）避免抖动。

质量评估2×2设计：
| | 基线模型 | FlexiDepth |
|----------------|----------|------------|
| 原生服务 | 77.63% | 74.00% |
| vSkipper服务| 77.41% | 73.77% |
- $DiD = (74.00\% - 73.77\%) - (77.63\% - 77.41\%) = -0.23\%$，证明服务无额外损失。

实验流程的严谨性

泊松到达模拟：
- 使用泊松流（$λ = Q*/0.95$）模拟真实负载，确保请求到达随机性。
- 对比实验在相同硬件、相同时间窗口运行，排除环境差异。

输出长度控制：
- 所有实验使用ignore_eos强制输出长度匹配，排除生成行为干扰。
- 例如：GSM8K固定256 tokens，避免vSkipper因跳过生成短输出。

统计显著性验证：
- 主要实验重复6次，报告均值和95% t区间。
- 差异显著当区间不包含零（如GSM8K E2E延迟[-38.8%, -34.8%]）。

补充结论与讨论：局限性的深入解读

局限性补充分析

1. 分布式服务缺失：
2. 现有实现仅支持单GPU，未解决tensor/pipeline并行中的路由同步问题。

3. 挑战：跨设备路由决策需全局协调，可能引入通信开销。

4. 子层跳过未支持：

5. 当前接口仅支持全层跳过，无法适配AdaSkip等细粒度方法。

6. 影响：细粒度跳过可能节省更多计算，但需扩展接口定义。

7. 质量-效率权衡的量化：

8. FlexiDepth导致BBH准确率下降8.39 pp，远超GSM8K的3.26 pp，说明任务特性影响权衡。
9. 未解决问题：如何通过跳过器训练优化此权衡（如加入任务损失函数）。

未来工作的技术路径

1. 分布式扩展：
2. 方案：在tensor并行中，将路由决策下沉到每台设备；在pipeline并行中，动态调整流水线负载。

3. 预期收益：在百卡集群中实现10倍以上吞吐提升。

4. 子层接口设计：

5. 方案：扩展RUN/Project-Only为RUN/Partial/Project-Only，支持层内部分跳过。

6. 挑战：需定义子层KV状态传递规则，避免信息丢失。

7. 联合优化框架：

8. 方案：将跳过器训练与服务优化联合建模，目标函数包含延迟、吞吐和质量。
9. 示例：Qwen3跳过器在训练时加入vSkipper的延迟约束。