05.AI搭建preparationの(transformers01)BertTokenizer实现分词编码

一、下载 

bert-base-chinese镜像下载

二、简介作用：

模型	每个参数占用的字节大小	模型大小	模型大小	层数	头数
GPT-1	4 个字节的 FP32 精度浮点数	117M	446MB	12	12
GPT-2	2 个字节的 FP16	1.5亿到1.75亿	0.5GB到1.5GB	48	16
GPT-3	2 个字节的 FP16	1.75万亿（17500亿）	350GB	175	96个头

BERT（Bidirectional Encoder Representations from Transformers）

针对中文语言，HuggingFace 团队推出了 bert-base-chinese 模型，提供语言处理能力。

Transformers提供两大类的模型架构，一类用于语言生成NLG任务，比如GPT、GPT-2、Transformer-XL、XLNet和XLM，

另一类主要用于语言理解任务，如Bert、DistilBert、RoBERTa、XLM.

三、环境依赖

pip install transformers==4.20.0

transformers · PyPI

四、实践

1、 vocab.txt 是已经设定好的词表

2、分词编码

利用transformers库中的BertTokenizer实现分词编码

from transformers import BertTokenizer#111
bert_name = './bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(bert_name)
text = '窗前明月光，'
input_ids = tokenizer.encode(text,#需要编码的文本；
add_special_tokens=True,#是否添加特殊token，即CLS分类token和SEP分隔token；
max_length=128,#文本的最大长度
truncation=True,#使用truncation=True来明确地将示例截断为最大长度。
padding='max_length',#将批次中所有序列填充到最长序列的长度
return_tensors='pt'# 返回的tensor类型，有4种为 [‘pt’, ‘tf’, ‘np’, ‘jax’] 分别代表 pytorch tensor、tensorflow tensor、int32数组形式和 jax tensor；
)
print('text:\n', text)
print('text字符数:', len(text))
print('input_ids:\n', input_ids)
print('input_ids大小:', input_ids.size())

3、特殊标记

整个词表的大小为21128个字，共有5种特殊token标记：

[PAD]: 填充标记，编码为0；
[UNK]: 未知字符标记，即该字不在所定义的词表中，编码为100；
[CLS]: 分类标记，蕴含整个文本的含义，编码为101；
[SEP]: 分隔字符标记，用于断开两句话，编码为102；
[MASK]: 掩码标记，该字被遮挡，编码为103；

---

4、补充：

某些transformers版本 或者会产生一些提醒，但是可以正常运行，我们可以加上以下语句来清除警告

from transformers import logging

logging.set_verbosity_error()