八股集锦（高频问题）
大模型主要基于什么架构？有哪些部分组成
为什么大模型大多是decoder-only的架构？
大模型是如何训练/获取知识的？
什么是Transformer
Transformer的优缺点是什么？
什么是Transformer的编码器和解码器？分别有什么用
Decoder-only模型在训练阶段和推理阶段的输入格式有什么不同？
Transformer的Decoder阶段的多头自注意力和Encoder的多头自注意力有什么区别？
为什么要Decoder自注意力要进行Mask？
Transformer掩码注意力机制具体是怎么做的？
Transformer的并行化体现在哪些地方？Decoder端可以做并行化吗？
Transformer中Attention的本质是什么？
自注意力的计算方式和复杂度？
为什么自注意力计算要除$$\sqrt{d_k} $$
介绍一下Transformer QKV的计算？
(追问)为什么要分成QKV，怎么计算的？同一个token向量是一样的吗？
自注意力中多头的好处?
为什么在进行多头注意力的时候需要对每个head进行降维
交叉注意力你如何理解，与自注意力有什么区别。
什么是MoE模型？与Dense模型有什么区别？
MoE模型有什么优势和劣势？
为什么大模型都开始转向MoE？
什么是大模型的幻觉？
为什么大模型会产生幻觉？
如何解决大模型的幻觉问题？
什么是Prompt Engineering？
提示词可以分几个部分，分别起什么作用？
如何优化大模型的提示词？
如何评价一个提示词的好坏？
提示词如何进行压缩
大模型常见的解码方式
Top p、Top k、Temperature(大模型解码参数)
什么是投机解码，与自回归有什么区别？
大模型解码推理的两个阶段是什么？
(追问)为什么要做Prefill
KV Cache的动机和原理
KV Cache的优缺点
为什么有K和V Cache，没有Q Cache
为什么KV cache显存利用率很低
如何优化KV Cache，有什么方式
LLM的复读机现象是什么，如何解决？
DeepSeek模型系列演变
DeepSeek如何实现MoE机制
DeepSeek中的MLA原理是什么
DeepSeek中的MTP如何实现
DeepSeek热门版本训练的关键步骤
DeepSeekV3训练关键步骤
Deepseek R1 训练关键步骤
Deepseek的百万Token窗口和RAG各有什么优劣？
用过OpenClaw吗
OpenClaw相比其他智能体框架的区别在哪里
OpenClaw的记忆系统是如何设计的？
OpenClaw还有什么问题没解决/局限性在哪里
RAG的基本流程
RAG有什么用/解决了什么问题？
RAG有哪些痛点问题/能够做哪些优化？
RAG与一般的微调方案相比有什么优势？/在微调和RAG之间为什么优选RAG
知道Query重构吗，有哪些重构的方法？
文档解析的作用是什么，解析不好会造成什么影响？
不同格式的文档如何进行文档解析
多级文档怎么保证在检索阶段保留层级信息？
如何评价解析效果？
为什么要Chunking？
Chunking越大和越小各自存在什么问题？
常见的Chunking方案
如何设计一个好的Chunking方案
如何根据chunk建立索引定位原文位置？
如何将一个完整的段落和语义单元拆分到不同的chunks中？
如何验证Chunking的质量
RAG如何做索引？
常见的向量索引算法有哪些
在大规模文档嵌入建立索引的时候，存在很多相似性文档如何处理。
RAG如何做检索(BM25,Embedding,混合检索)
多路召回RRF合并融合原理是什么
关键词检索和向量检索的比例在不同场景下如何确定
不同检索方式各有什么问题
RAG文档很多如何保持检索的性能
RAG召回数量(Top k)过大过小分别有什么影响
如何根据业务场景选择合适的Top k
什么是向量化(Embedding)，有什么作用？
你了解哪些Embedding模型
Embedding模型在下游任务中存在什么缺陷
重排序阶段的作用是什么/精排和粗排的区别是什么？
Rerank模型和Embedding模型有什么区别
为什么要做Rerank/Rerank模型的作用
为什么不只做Rerank，而是对粗粒度的结果做精排？
两阶段粗排序+精排序有什么优缺点？
GraphRAG解决了RAG的什么问题？
GraphRAG知识图谱的建立过程
GraphRAG常见的检索样式有哪些？
GraphRAG相比传统的RAG有什么劣势
还有哪些GraphRAG算法，分别解决原始GraphRAG的什么问题
暂无题目