大模型LLM算法工程师技术面试指南
写在前面
这个系列的笔记，将作为我过去一年多来在大模型领域一线实战的经验总结，以及作为大模型面试官的经验汇总，希望可以帮到更多打算踏入大模型算法领域的同学。
简要介绍一下自己的情况，8 年前通过自学入行人工智能，毕业加入阿里计算平台事业部，大规模机器学习系统，最近两年主要从事智能驾驶方向的大模型研究和实战。同时工作之余也做了一些算法教育相关的工作，辅导过一些学弟学妹。
为什么会想写这个系列
我是自学入行的，深知这里面的各种心酸，回想刚入门时，总是时不时在想，要是有人能将自己工作内容真实分享出来就好了。我准备面试时，也总是会想，要有个大佬能站在面试官的角度帮我分析一下这些题目就好了。
在我辅导过的学弟学妹中，大部分人也是同样的问题，因此才有了这个系列笔记的想法。我希望站在过来人的角度，给大家分享我的工作经验，还原大模型算法工作中用到的技术，以及从面试官的角度告诉你，为什么你的简历每次都石沉大海？为什么你每次面试都是炮灰？
为什么选择大模型方向
很简单，机会多，前景大
相比于深度学习等其他领域，大模型现在还处于洼地，有更大的需求。而且相比AI其他方向，大模型的优质资料实在太少，大多都是各种搬运和抄袭，很少有高质量的一线工作实战经验分享和面试总结
所以我会在24年重点做这一块，如果大家有什么好的建议，也可以私信我。
打算写哪些内容
目前的打算分成几个模块：工作实战、面试能力、技术概念、论文复现，大家有什么其他想看的，也可以私信我，尽量满足大家的需求
1. 工作实战
在工作实战这块，我会结合自己8年的算法工程师经验，给出一个大模型工程师的实际工作内容和技术要求
目前国内各家出了很多的国产大模型，但大部分公司做“基座”的并不多，更多的是聚焦大模型在各领域的落地
因此利用垂直领域数据+大模型微调是工作的重点
对于模型的选型，一定要结合公司的硬件架构水平来定，并不是越大越好
数据层面，大模型的微调对数据的质量要求非常高，这块花的时间往往占据60%以上
产品化层面，还要注重大模型的轻量化和大模型推理加速这些实战经验和技巧，平时多分析数据的badcase，总结问题，从业务数据的源头找到解决场景落地过程中问题的办法。
2. 面试能力
市面上有不少所谓的大模型面试题，不过说句实话，90%都比较垃圾，真实面试根本不会这么问
所以作为这个系列的重点，我会整理我作为面试官参与的多场大模型面试
精选出优质面试题目 【至少300道】 进行详细讲解
说明一下，这个讲解不仅仅是给个答案让你背下来那么简单，那样没多大意义
我会以面试官的视角告诉你，当面试官问出这个问题时，他想考察你什么？他期待的答案是什么？给你挖了哪些坑？在面试应该怎么引导面试官？
所谓知己知彼，搞清楚面试官的想法，你才能从更高维度去把控面试
很多同学看完之后就会恍然大悟，为什么你每次面试都被面试官血虐？为什么你每次面试都是炮灰？
3. 论文代码复现
很多同学可能认为进入产业界了，每天游走在各个繁忙的业务之间，根本没有时间看论文。
首先我想说，这个想法是极其错误的！
这么说吧，算法工程师是要求自我更新最快的一个工种。知识更新频率排序：算法工程师 > 软件工程师 > 硬件工程师
就拿大模型领域来说，如果你3个月没有追最新的论文，可能业界热点技术你就很难跟上了，除非花大量时间去恶补
对于我自己而言，基本每周都会follow最新论文列表，选择刷6～10篇不错的论文，花15～20分钟去速看
对于特别优秀的论文，我会花1个小时，甚至半天去精读，例如InstructGPT，DPO这种级别的，同时还会去复现论文思想，或者阅读相关的源码
如果看论文能理解到7分，那读完代码一定可以帮助你理解到9分
所以读到这里你不禁要问自己一个问题：为什么我掌握的深度不够？那一定是你论文读太少了。。
4. 技术概念
这块我会结合自己工作中的实际应用，尽可能的把大模型中的各种技术概念，做一个通俗易懂的讲解
大模型其实是很复杂的一个综合性领域，涉及的技术范围之广
首先你得会机器学习，还要会点深度学习，深度学习领域的NLP技术你必须得熟练掌握
然后就是大模型的预训练技术，提示工程技术，高效微调技术。。。
除了算法理论，你还得对工程架构和系统有所了解，因为随时有可能训练开发时遇到了问题要排查。
比如你要训练一个有几百亿参数的大模型，这时候你得上分布式来训练吧，所以就要了解分布式的通信技术，流水线技术，数据并行技术。
如果单个机器放不下，还需要用到模型并行技术，张量并行技术。如果发现训练速度太慢，一个任务要跑几个月，这肯定是不可接受的。这时候你还要会训练优化的技巧，比如访存优化相关的FlashAttention, PagedAttention, KV Cache，重计算等技术。
这还没完，模型距离真正产品上线还要做一个事儿，就是模型推理优化。达不到线上QPS怎么办？——优化你模型的模型延迟；吞吐率太小了怎么办？——优化你模型的并行度；模型太大了放不下怎么办？——减小模型的大小（量化/稀疏化/剪枝）。。把这些东西都完整的弄完了，这才算是一个合格的大模型产品上线了
写在最后
那么，如何系统的去学习大模型LLM？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
篇幅有限，部分资料如下：
👉LLM大模型学习指南+路线汇总👈
💥大模型入门要点，扫盲必看！
💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。
👉大模型入门实战训练👈
💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
👉国内企业大模型落地应用案例👈
💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。
👉LLM大模型学习视频👈
💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）
👉640份大模型行业报告👈
💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
👉获取方式：
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓
