Tokenizer 的原理是什么，如何影响大模型训练与推理？

• What is tokenization in LLMs?

• 简单描述一下wordpiece model 和 byte pair encoding，有实际应用过吗？

• 什么是大模型项目的分词器？原理是什么？

• 底层细节:Tokenization 是如何工作的?BPE、WordPiece 有啥区别?

• 【分词方式】大模型一般使用的是什么分词方式？你还知道哪些分词方式？ 「京东」

Tokenizer与Embedding综合 「京东、百度、美团、腾讯」

• 简单描述一下BPE算法。

分词与词表 「字节跳动、百度、腾讯、腾讯混元、阿里巴巴」

• BPE和WordPiece的区别与异同点是什么？
• Transformer模型的分词过程是怎样的？