研究人员提出让语言模型处理字符的 byteification 方法——《自然》

研究人员描述了一种名为 byteification 的方法，用于让基于词元运行的大型语言模型能够在字节层面处理文本，《自然》报道。这使得此类模型能够处理单词中的单个字符。

模型为何会出错

大多数大型语言模型将单词编码为词元，即字母或词的一部分组成的序列。这种方法能够在许多任务中取得较高表现，但无法直接访问被编码为二进制序列——字节——的单个字符。

更多最新消息请关注 UA.News Telegram 频道 Telegram.

因此，模型在统计字母时可能出错。例如，在 strawberry 一词中，字母 r 出现了三次，但许多大型语言模型回答为两次。

在字节层面工作

据《自然》指出，Minixhofer 及其合作者将 byteification 提出为一种让现有词元化模型适配字节层面工作的方式。作者展示了，经过这种改进后，模型能够展现出有竞争力的结果，同时保留读取单个字符的能力。