Tokenizers
所属分类：特征抽取
开发工具：C#
文件大小：0KB
下载次数：0
上传日期：2024-04-08 06:36:31
上 传 者：
sh-1993
说明： “信任标记器”到C#的端口。净值
(Port of `rust-tokenizers` to C# .NET)
文件列表:
protos/
src/Lokad.Tokenizers/
test/Lokad.Tokenizers.Tests/
LICENSE.txt
Lokad.Tokenizers.sln
# Lokad.Tokenizers
Partial port of `rust-tokenizers` to C#/.NET
Status: the `XLMRobertaTokenizer` model used for `multilingual-e5-large` (text embedding) is working and unit tested.
See https://github.com/guillaume-be/rust-tokenizers
近期下载者：
相关文件：
收藏者：