目录
给提供了 Token 的计算工具,来理解一下Token的计算方式,网址如下:
窗口如下:
实际消耗 Token 数量为 59个,换算之后为2.1-2.2的比例,即一个汉字消耗2.1·2.2个Token,
再测一下英文的Token消耗,包含空格在内,一共52个英文字母,消耗Token 13个,正好对应13个单词,差不多1:1的测试结果。
一个颜色分段代表一个Token:,对于英文来说,对Token更友好,消耗的Token更少,即使用英语表达,可以节省Token数量。
窗口如下:
实际消耗 Token 数量为 59个,换算之后为2.1-2.2的比例,即一个汉字消耗2.1·2.2个Token,
再测一下英文的Token消耗,包含空格在内,一共52个英文字母,消耗Token 13个,正好对应13个单词,差不多1:1的测试结果。
一个颜色分段代表一个Token:,对于英文来说,对Token更友好,消耗的Token更少,即使用英语表达,可以节省Token数量。
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/166049.html
如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!