跳到正文
Hugging Face Blog·· 13 小时前AI 评分58

VocabX 如何为小模型定制词表,将推理成本降低 77%

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 导读

Dharma AI 在 Hugging Face 博客中介绍即将发布的 VocabX 论文,方法是在不改动基座模型的前提下,按每个 token 的推理成本而非出现频率重建领域专用词表。

来源:Hugging Face Blog · huggingface.co