请求支持 rollout 粒度的 sglang 请求路由提高多轮 rollout 的吞吐量

[zchuz]

在进行超多轮 agent rollouts 的过程中，由于router是按照请求进行路由的，导致prefix-cache 的命中率可能较低。

url = f"http://{args.sglang_router_ip}:{args.sglang_router_port}/generate"

由于 router 采用的是 逐请求（per-request）的负载均衡策略，同一个 rollout trajectory 中的多个请求（通常共享较长的前缀）可能会被路由到不同的推理引擎实例上。这会破坏 prefix-cache 的局部性，导致相同前缀被多次重复 prefill，从而在多轮长序列 rollouts 场景下显著降低整体吞吐。

因此想请教，是否可以支持一种 rollout 级别的请求黏性（request affinity）机制，例如：

• 在 rollout / trajectory 级别将请求绑定到某一个固定的推理引擎实例；
• 在多轮 rollouts 过程中保持 prefix-cache 的局部性与稳定命中；
• 负载均衡发生在“rollout → 推理引擎实例”的分配阶段，而不是在每一次 generate 请求上通过 router 进行动态路由。

十分感谢回复

[zchuz]

看起来 slime router 似乎会对请求相同的前缀做一些匹配处理，是否只需要添加这两个参数就可以激活 prefix-cache了

--use-slime-router \
--slime-router-middleware-paths slime.router.middleware_hub.radix_tree_middleware.RadixTreeMiddleware \

[zchuz]

看起来 slime router 似乎会对请求相同的前缀做一些匹配处理，是否只需要添加这两个参数就可以激活 prefix-cache了

--use-slime-router
--slime-router-middleware-paths slime.router.middleware_hub.radix_tree_middleware.RadixTreeMiddleware \

比较了开启 slime-router + slime-router-middleware-paths 和不使用 slime-router，我发现两者之间的吞吐量是接近的，没有太大差异。

其次我对比了直接使用 sglang 部署 multi-turn agent workflow（和slime的rollouts流程是一样的），并在确保所有请求都命中同一个推理实例的前提下，整体吞吐量约为 slime 的 6–7 倍。

[lilei199908]

sgl-router sourpot it. and you can use in slime by like '--router-policy consistent_hashing " and add "headers={
"X-SMG-Routing-Key": "user-123-session-456" }" in your requests to achieve it.

[zchuz]

sgl-router sourpot it. and you can use in slime by like '--router-policy consistent_hashing " and add "headers={ "X-SMG-Routing-Key": "user-123-session-456" }" in your requests to achieve it.

感谢回复，我在使用的过程中发现 sglang router 没有 consistent_hashing 这个参数。请问我应该使用哪个版本 @lilei199908，多谢

train.py: error: argument --router-policy: invalid choice: 'consistent_hashing' (choose from random, round_robin, cache_aware, power_of_two, manual)

current version:
slime: 0.2.1
sglang: 0.5.6
sglang-router: 0.3.1

[YaooXu]

sgl-router sourpot it. and you can use in slime by like '--router-policy consistent_hashing " and add "headers={ "X-SMG-Routing-Key": "user-123-session-456" }" in your requests to achieve it.

感谢回复，我在使用的过程中发现 sglang router 没有 consistent_hashing 这个参数。请问我应该使用哪个版本 @lilei199908，多谢

train.py: error: argument --router-policy: invalid choice: 'consistent_hashing' (choose from random, round_robin, cache_aware, power_of_two, manual)

current version: slime: 0.2.1 sglang: 0.5.6 sglang-router: 0.3.1

请问这个问题你最后怎么解决的呢，我也遇到了类似的问题。

[zchuz]

sgl-router sourpot it. and you can use in slime by like '--router-policy consistent_hashing " and add "headers={ "X-SMG-Routing-Key": "user-123-session-456" }" in your requests to achieve it.

感谢回复，我在使用的过程中发现 sglang router 没有 consistent_hashing 这个参数。请问我应该使用哪个版本 @lilei199908，多谢

train.py: error: argument --router-policy: invalid choice: 'consistent_hashing' (choose from random, round_robin, cache_aware, power_of_two, manual)

current version: slime: 0.2.1 sglang: 0.5.6 sglang-router: 0.3.1

请问这个问题你最后怎么解决的呢，我也遇到了类似的问题。

consistent_hashing 这个在 slime 这个版本的 sglang已经实现了。但是在 arguments parse 的 choices 里面没有这个选项，手动改代码加一下就可以了，应该是在site-packages 的sglang里面。不过我尝试了 slime-router 和 sglang-router 的很多种策略。他们都在超多轮Agent场景中表现都比较差，负载均衡和命中率都不太好。