大模型入门自学资源汇总,很难找到比这还全的大模型学习资源总结了!
接触各种AI工具到现在也快两年了,今年和同学陆续做了一些AI应用的科普宣讲,在这过程中收集了不少自学资源,特地挑出一部分整理成以下的内容。
书籍
大模型应用开发极简入门:基于GPT-4和ChatGPT
首推今年年初出版的《大模型应用开发极简入门:基于GPT-4和ChatGPT》,小红书上也有人叫它“章鱼书”(实际上是刺蛇尾Ophiothrix spiculata)。
https://www.oreilly.com.cn/index.php?func=book&isbn=978-7-115-63640-9
这本书应该是目前综合下来最好的大模型应用入门类书籍,从大模型的基础概念和发展史讲起:
-
第 1 章 初识 GPT-4 和 ChatGPT
-
1.1 LLM 概述
-
1.1.1 探索语言模型和 NLP 的基础
-
1.1.2 理解 Transformer 架构及其在 LLM 中的作用
-
1.1.3 解密 GPT 模型的标记化和预测步骤
-
1.2 GPT 模型简史:从 GPT-1 到 GPT-4
-
1.2.1 GPT-1
-
1.2.2 GPT-2
-
1.2.3 GPT-3
-
1.2.4 从 GPT-3 到 InstructGPT
-
1.2.5 GPT-3.5、Codex 和 ChatGPT
-
1.2.6 GPT-4
第一章就有案例帮助读者深入浅出地理解大模型的落地应用:
-
1.3 LLM 用例和示例产品
-
1.3.1 Be My Eyes
-
1.3.2 摩根士丹利
-
1.3.3 可汗学院
-
1.3.4 多邻国
-
1.3.5 Yabble
-
1.3.6 Waymark
-
1.3.7 Inworld AI
-
1.4 警惕 AI 幻觉:限制与考虑
-
1.5 使用插件和微调优化 GPT 模型
-
1.6 小结
第二章直接开讲OpenAI的API调用:
-
第 2 章 深入了解 GPT-4 和 ChatGPT 的 API
-
2.1 基本概念
-
2.2 OpenAI API 提供的可用模型
-
2.3 在 OpenAI Playground 中使用 GPT 模型
-
2.4 开始使用 OpenAI Python 库
-
2.4.1 OpenAI 访问权限和 API 密钥
-
2.4.2 Hello World 示例程序
-
2.5 使用 GPT-4 和 ChatGPT
-
2.5.1 ChatCompletion 端点的输入选项
-
2.5.2 ChatCompletion 端点的输出格式
-
2.5.3 从文本补全到函数
-
2.6 使用其他文本补全模型
-
2.6.1 Completion 端点的输入选项
-
2.6.2 Completion 端点的输出格式
-
2.7 考虑因素
-
2.7.1 定价和标记限制
-
2.7.2 安全和隐私
-
2.8 其他 OpenAI API 和功能
-
2.8.1 嵌入
-
2.8.2 内容审核模型
-
2.8.3 Whisper 和 DALL · E
-
2.9 小结(含速查清单)
第三章就开始教你构建基于大模型的应用了,还有示例项目:
-
第 3 章 使用 GPT-4 和 ChatGPT 构建应用程序
-
3.1 应用程序开发概述
-
3.1.1 管理 API 密钥
-
3.1.2 数据安全和数据隐私
-
3.2 软件架构设计原则
-
3.3 LLM 驱动型应用程序的漏洞
-
3.3.1 分析输入和输出
-
3.3.2 无法避免提示词注入
-
3.4 示例项目
-
3.4.1 项目 1:构建新闻稿生成器
-
3.4.2 项目 2:YouTube 视频摘要
-
3.4.3 项目 3:打造《塞尔达传说:旷野之息》专家
-
3.4.4 项目 4:语音控制
-
3.5 小结
第四章包括了提示词和微调的技巧:
-
第 4 章 GPT-4 和 ChatGPT 的高级技巧
-
4.1 提示工程
-
4.1.1 设计有效的提示词
-
4.1.2 逐步思考
-
4.1.3 实现少样本学习
-
4.1.4 改善提示效果
-
4.2 微调
-
4.2.1 开始微调
-
4.2.2 使用 OpenAI API 进行微调
-
4.2.3 微调的应用
-
4.2.4 生成和微调电子邮件营销活动的合成数据
-
4.2.5 微调的成本
-
4.3 小结
第五章讲LangChain和API插件:
-
第 5 章 使用 LangChain 框架和插件增强 LLM 的功能
-
5.1 LangChain 框架
-
5.1.1 动态提示词
-
5.1.2 智能体及工具
-
5.1.3 记忆
-
5.1.4 嵌入
-
5.2 GPT-4 插件
-
5.2.1 概述
-
5.2.2 API
-
5.2.3 插件清单
-
5.2.4 OpenAPI 规范
-
5.2.5 描述
-
5.3 小结
-
5.4 总结
如果只读一本书,那么这本就是目前最全最容易上手的教材。缺点就是这本书是译制书,有些用语读起来可能不如本土化教材那么顺畅。
GPT 图解 - 大模型是怎样构建的!
黄佳老师之前出版过好几本和数据分析与机器学习相关的书籍。这本《GPT 图解 - 大模型是怎样构建的!》花费了很大的篇幅用图解的方式对大模型的原理进行了揭秘,在GPT原理解释上比上面那本书还要来得深入,缺点是实战案例相对没那么多,而且售价将近80元。
当然,如果你有条件可以顺便把黄佳老师的另一本书《动手做AI Agent》也一并买了:
这两本书在Github上都有对应的示例和代码:
-
GitHub - huangjia2019/llm-gpt: 异步图书 《GPT图解 大模型是怎样构建的!》
-
GitHub - huangjia2019/ai-agents: 异步图书 《大模型应用开发 动手做AI Agent》
大规模语言模型:从理论到实践
如果之前提到的那本书你嫌贵,又想看正规、免费、系统的教材,网上也有。
这里先推荐复旦大学计算机科学技术学院团队出品的《大规模语言模型:从理论到实践》:
一共八章课件(PPT格式):
-
第一章 绪论
-
第二章 大语言模型基础
-
第三章 大语言模型预训练数据
-
第四章 分布式模型训练
-
第五章 有监督微调
-
第六章 强化学习
-
第七章 大语言模型应用
-
第八章 大语言模型评估
整本书在这里(pdf格式):https://intro-llm.github.io/chapter/LLM-TAP.pdf
Github
如果你不是编程小白,熟悉Github的话,大模型相关的优质资源就更多了。
Datawhale
首先找到这个Github账号:Datawhale
然后到Repo下面按Stars排序,那么你就得到了一片和机器学习、深度学习、大模型等知识构成的海洋:
和大语言模型相关且热度比较高的repo有这几个,你可以clone到本地慢慢啃:
-
https://github.com/datawhalechina/llm-cookbook
-
https://github.com/datawhalechina/self-llm
-
https://github.com/datawhalechina/llm-universe
-
https://github.com/datawhalechina/so-large-lm
动手学大模型Dive into LLMs系列
当然Github上的宝藏坑位也不止一个,还有Github用户Lordog和其他6个Contributor开源的教程:《动手学大模型Dive into LLMs》系列编程实践教程,本质是上海交大《人工智能安全技术》课程的拓展。
llm-action
还有一个比较推荐的是知乎答主吃果冻不吐果冻皮在Github上的llm-action项目:https://github.com/liguodongiot/llm-action
从目录上看这比前两个Github教程更全面和连贯,也更系统。如果你只打算找一个Github项目来全面了解大模型,那么选这个就没错了:
-
🐌 LLM训练
-
🐫 LLM训练实战
-
🐼 LLM参数高效微调技术原理
-
🐰 LLM参数高效微调技术实战
-
🐘 LLM分布式训练并行技术
-
🌋 分布式AI框架
-
📡 分布式训练网络通信
-
🌿 LLM训练优化技术
-
⌛ LLM对齐技术
-
🐎 LLM推理
-
🚀 LLM推理框架
-
✈️ LLM推理优化技术
-
♻️ LLM压缩
-
📐 LLM量化
-
🔰 LLM剪枝
-
💹 LLM知识蒸馏
-
♑️ 低秩分解
-
🌿 LLM测评
-
🌴 LLM数据工程
-
🐬 LLM微调高效数据筛选技术
-
🌀 提示工程
-
♍️ LLM算法架构
-
🧩 LLM应用开发
-
🀄️ LLM国产化适配
-
🔯 AI编译器
-
🔘 AI基础设施
-
🍁 AI加速卡
-
AI集群网络通信
-
💟 LLMOps
-
🍄 LLM生态相关技术
-
💫 LLM面试题
-
🔨 服务器基础环境安装及常用工具
大厂网课
AI-For-Beginners
除了个人和学术团体在Github上贡献的资源,大厂在AI方面的免费课程也是不少。如果你英文水平过关,那么完全可以看微软出品的12周24节的AI普及课:AI-For-Beginners。
这个课程覆盖面更广,包括了计算机视觉、多智能体系统等等内容,没有点毅力和耐心恐怕是啃不下来。
我记得其他几家大厂比如Google和Meta也有类似的课程,自己找一找吧。
视频
DeepLearning.ai
这个不用多说了,吴恩达出品,必是精品。有条件上官网可以看一下短期课程(Short Courses),基本上1-2个小时一门:Courses。
这些课程的汉化版也可以在B站上找到,稍显讽刺的是官方账号的视频内容和数量都没有自来水们上传的多,找到播放量最高的那几个视频就对了,全长二十几个小时,挑着看吧……
Github上也有中文版的笔记整理:https://github.com/fengdu78/deeplearning_ai_books
暂时大概就这些了,反正我觉得不要贪多,挑一个看的进去耐心看完,没耐心就导出成PDF或者Markdown又或者音频,让类似通义效率工具这类AI工具过一遍,总会有些收获的。
如何学习AI大模型?
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓