面了质谱大模型，整体面试体验很好

John

最近春招和日常实习已开启。
不同以往的是，当前职场已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。
最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。
总结链接如下：
《大模型面试宝典》(2025版) 正式发布！
喜欢本文记得收藏、关注、点赞。更多实战和面试交流，加入我们
<hr/>前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：技术交流

喜欢本文记得收藏、关注、点赞。
<hr/>一面

• 自我介绍
  
• 技术问题 1) llama3 中使用的注意力机制是什么?手写实现下分组注意力。 2) 了解 langchain 吗?讲讲其结构。 3) 对位置编码熟悉吗?讲讲几种位置编码的异同 4) RLHF的具体工程是什么?包含了哪几个模型? 5) 分别讲讲 encoder-only、decoder-only、encoder-decoder 几种大模型的代表作。 6) 具体讲讲 p-tuning、lora 等微调方法，并指出它们与传统fine-tuning微调有何不同。 7) 显存不够一般怎么解决的? 8) 几种主流大模型的 loss 了解过吗?有哪些异同? 9) 了解半精度训练吗?展开讲讲。 10) deepspeed 用过吗? 展开讲讲。
  

二面

第二次面智谱，强调可转正，感觉和暑期实习类似。整体面试体验很好，问题主要集中在项目和大量场景题，面试官态度很友善，回答的过程中也有给予正反馈。第一次遇到面试问大量场景题的，整个面试的大部分时间都在探讨这些场景题

• 上来还是自我介绍，然后开始详细问项目
  
• 业务场景是什么样的，如何评估任务完成的效果
  
• DPO的训练数据是什么样的，如何构造的数据
  
• GRPO的奖励是如何获取的
  
• 奖励模型是如何训练的，效果如何
  
• 奖励模型的训练数据是如何构建的
  
• DPO，PPO，GRPO介绍一下，区别是什么
  

场景题

• 如果从1b里数据抽取10k条具有某些特定特征的coding数据，如何高效抽取？
  
• 如果要用模型去评估，如何确定模型的参数？
  
• 如果想构造高质量的coding数据，如何确保coding数据的质量，代码很长很复杂的情况下？
  
• 如果任务难度很高，使用目前最好的模型正确率也只有30%，如何构造数据去微调和强化学习对基模进一步提高？
  
• 如果想做模型蒸馏，如果根据原始coding去利用大模型获取想要的prompt，去微调小模型？
  
• 如何评估代码的质量，如果很多代码生成出来并不能执行的情况下？
  
• 问了下有没有使用过docker，没有手撕，
  
• 最后反问环节确认了下能否转正，然后又继续探讨了一下他们的业务场景（主要是做代码生成模型的预训练）以及相关的agent。
  

原文地址：https://zhuanlan.zhihu.com/p/1894361694882492909