自适应并行推理:高效推理扩展的下一个范式
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。现有方法多由模型外部固定并行结构,如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS,以及 ParaThinker、GroupThink、Hogwild!
自适应并行推理让模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。现有方法多由模型外部固定并行结构,如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS,以及 ParaThinker、GroupThink、Hogwild!