tokenizer
所属分类：特征抽取
开发工具：Jupyter Notebook
文件大小：0KB
下载次数：0
上传日期：2023-09-20 11:01:22
上 传 者：
sh-1993
说明： 玩着编写标记器，
(playing with writing a tokenizer,)
文件列表:
.vscode/ (0, 2023-09-23)
.vscode/settings.json (136, 2023-09-23)
1-byte-token-frequencies.png (180806, 2023-09-23)
50k-token-frequencies.png (103401, 2023-09-23)
LICENSE (1070, 2023-09-23)
gpt2-token-frequencies.png (144530, 2023-09-23)
test.ipynb (410299, 2023-09-23)
test.mp4 (1942499, 2023-09-23)
test_50k_good.mp4 (1541128, 2023-09-23)
vocab.csv (950087, 2023-09-23)
# tokenizer
playing with writing a tokenizer
近期下载者：
相关文件：
收藏者：