大数据开发工程师一面面经

面试时间：8.25
面试公司：字节跳动
面试岗位：大数据开发工程师
面试官：接下来我们会有50分钟左右的面试沟通，请你先做自我介绍。
面试官：实习近况如何
面试官：你实习的感受如何？
面试官：你日常开发中，代码是AI生成还是手写？
面试官：是用哪些ai工具。
面试官：是直接告知需求，让AI生成完整代码吗？
面试官：你认为一个数据开发需求的完整流程是怎样的？
候选人：结合我做的项目，流程如下：需求澄清，链路开发，迭代优化
面试官：你认为数据开发流程中，哪一步是AI做不了的？
候选人：数据口径统一
面试官：为什么AI无法完成数据口径对齐？
面试官：口径对齐属于需求澄清环节吗？
面试官：有没有办法让AI实现口径对齐？
候选人：可以通过搭建知识库的形式实现
面试官：AI怎么从知识库中召回内容？
面试官：怎么确定召回的是想要的结果？
面试官：抛开你们团队现有的建设，如果由你来设计支撑AI完成需求澄清与口径对齐的知识库，应该怎么设计？可以从三方面思考：知识库包含哪些内容、内容结构是怎样的、AI如何召回内容。
候选人：结合我的使用经验，设计思路如下：

1. 知识库包含的内容：

• 项目业务背景，明确数据产生的业务环节；
• 每个字段的来源、计算口径与具体用途；
• 指标的适用场景，即对应指标会在哪些业务问题中被使用；
• 指标计算的具体示例，辅助AI理解逻辑。 补充业务背景的原因是，不同项目可能存在同名指标，需要通过背景区分当前查询对应的项目。

1. 内容结构： 可以采用结构化存储，既可以用向量库存储文本片段，也可以用哈希映射的形式，存储关键词对应的知识点，方便和自然语言做匹配。
2. 召回方式： 如果采用向量库，通过语义关联度匹配，将最相似的内容加入提示词；如果采用哈希映射，通过自然语言中的关键词，匹配对应知识点。
   面试官：你知道Skill的实现模式吗？分几层？
   面试官：你写过Skill吗？
   面试官：你认为使用Skill的完整流程是怎样的？
   面试官：你了解Spark的依赖吗？
   面试官：Spark的依赖中，哪些操作对应窄依赖，哪些对应宽依赖？
   面试官：DAG里面实际存储的是什么内容？
   面试官：动态分区你了解吗？
   面试官：你对SQL函数的掌握情况如何？
   面试官：你常用的窗口函数有哪些？
   面试官：row_number的排序是怎么实现的？
   面试官：自定义函数你了解吗，UDF、UDAF、UDTF有什么区别？
   面试官：什么场景下会用到UDF？
   面试官：请你总结项目的背景、价值与收益。
   面试官：请你选一个加工过程中的指标，说明它的数据来源、原始口径、加工表内容、更新周期。
   面试官：你设计的底表粒度是什么？
   面试官：你设计了多少张表？
   面试官：宽表分别是什么粒度、承载什么数据？为什么要设计这么多张表？
   面试官：手撕SQL
   面试官：如果数据倾斜了，你会怎么处理？

#面经面经##面经##腾讯音乐求职进展汇总##实习生活中那些难忘的瞬间##求职你最看重什么？##秋招面试记录##校招笔试记录#