question about tree structure config of token recycling

[ZelinMa557]

您好，我看到config目录下包含 default_tree.json和 token_recycle.json 等多个文件，其中token_recycle.json比default_tree.json更宽更深，请问您是否测试过使用default_tree.json的配置，是否会对token recycling的表现产生较大影响？

[hyx1999]

时间有一些久，具体的测试结果已经不太记得了，但是我印象里token recycling在tree比较小的情况下效果会比较差.

[ZelinMa557]

感谢您的回复，我最近在尝试集成sam 和 token recycling到我们内部的线上推理服务中，有个需求是希望能够在draft token预算只有16或16以内时，依然能够取得加速效果。这种情况下，是否只使用sam更合适一些，我理解sam应该对draft预算不太敏感？

我后续可能会尝试一下用sam预测出一些token的同时，取token recycling的tree的第一层拼在一起进行forward，这样也许能缓解SAM的容错率？因为SAM没有分叉，如果第一个token没有预测对，接受率就不行，加上token recycling这种机制可以兜底？

再次感谢您的回复！

[hyx1999]

嗯嗯，和token recycling相比sam应该对draft预算不太敏感. 关于和token recycling结合感觉是一个比较trade-off的事情，可能还是得实际测试才能知道加速情况.
不过，这个仓库离实际部署比较的远，sam也是用python实现的，您有实际部署需求的话建议您参考https://arxiv.org/abs/2411.04975 和 https://github.com/snowflakedb/ArcticInference ，是一个和我们类似的方法，里面有用c++实现的sam