计算机行业2024AI+研发数字峰会：SUBLLM新架构 文本下采样机制革新大语言模型效率
1. 提出SUBLLM新架构
它结合了下采样、上采样和旁路模块
动态地将资源分配给重要的token
2. 提出了一种 token 序列子采样方法
可以有效地测量 token 重要性分数并按预期控制分数值的分布在推理过程中实现所需的下采样保留率
3. 与 Llama 模型相比
SUBLLM 在训练和推理方面分别实现了加速，训练加速34%，推理50%同时显着降低了内存成本，保持了模型能力
未来研究方向
1. 不同的tokenizer有不同的压缩率
如何确保SUBLLM结构的通用性并确定有效的保留比例2. 应用在长文本场景，比如200K窗长上，可以最低保留多少比例值得期待一下
3. 多模态模型中的视觉标记具有冗余性
在处理高分辨率图像时，大大降低了VLM的效率SUBLLM应用在这个领域也将具有落地前景