Tokenization(分词标记化)

之前：基于字符的分词

First Citizen: 在我们继续之前，请听我说。

All: 说吧，说吧。

First Citizen: 你们都决心宁愿死也不愿饿死吗？

All: 决心的。决心的。

First Citizen: 首先，你们知道Gaius Marcius是人民的头号敌人。

All: 我们知道，我们知道。

“`python

# 这是文本中出现的唯一字符

chars = sorted(list(set(text)))

vocab_size = len(chars)

print(”.join(chars))

print(vocab_size)

# !$&’,-.3:;?ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz

# 65

“`

“`python

stoi = { ch:i for i,ch in enumerate(chars) }

itos = { i:ch for i,ch in enumerate(chars) }

# 编码器：接收一个字符串，并输出对应的整数列表

encode = lambda s: [stoi[c] for c in s]

# 解码器：接收一个整数列表，并还原回字符串

decode = lambda l: ”.join([itos[i] for i in l])

print(encode(“hii there”))

print(decode(encode(“hii there”)))

# [46, 47, 47, 1, 58, 46, 43, 56, 43]

# hii there

“`

“`python

class BigramLanguageModel(nn.Module):

def __init__(self, vocab_size):

super().__init__()

self.token_embedding_table = nn.Embedding(vocab_size, n_embd)

def forward(self, idx, targets=None):

tok_emb = self.token_embedding_table(idx) # (B,T,C)

“`

使用字节对编码(BPE)算法的”字符块”进行标记化

词汇量已经扩展到了50,257。我们还将上下文大小从512增加到了1024个标记，并且使用了更大的批次大小512个。

• 为什么LLM无法正确拼写单词？
• 为什么LLM无法完成如字符串反转这样的简单字符串处理任务？
• 为什么LLM在处理非英语语言（比如日语）时表现不佳？
• 为什么LLM在进行简单算术运算时表现不佳？
• 为什么GPT-2在Python编程时遇到了额外的困难？
• 为什么我的LLM在遇到”<|endoftext|>”字符串时突然停止工作？
• 我收到的关于“尾随空格”的奇怪警告是什么意思？
• 当我询问关于”SolidGoldMagikarp”时，为什么LLM会崩溃？
• 为什么我应该更倾向于使用YAML而不是JSON来与LLMs交互？
• 为什么LLM实际上并不是真正的端到端语言模型？
• 痛苦的根源究竟是什么？