当前位置：首页 > news >正文

大模型应用开发大纲

news 2025/4/22 6:02:25

AI大模型学习路径脑图结构

一、AI及LLM基础

学习目标：建立对AI和LLM的基础理解，了解主要的机器学习和神经网络模型，掌握API调用方法。

1.1 AI领域基础概念
- AI, NL/NLU/NLG
- 机器学习: 学习方法, 拟合评估
- 神经网络: CNN, RNN, Transformer
- Transformer, BERT架构简介
- LLM, Generative AI
- OpenAI及其他常用大模型介绍
- 参数详解
- API Key OpenAI API调用
1.2 OpenAI开发
学习目标：学会使用OpenAI API开发聊天机器人，理解API的参数和计费，掌握不同API调用方法。
- OpenAI API参数, Token, 计费
- Rest API调用(Postman)
- Python API调用
- 开发控制台循环聊天
- 管理对话token
1.3 支持多模态输入的AI Chatbot App
学习目标：开发支持图片等多模态输入的Chatbot应用，优化代码结构以提高开发效率。
- 开发基于Streamlit和OpenAI大模型的Chatbot App
- 支持图片的多模态输入
- Python项目代码结构优化
1.4 Prompt Engineering提示词工程
学习目标：学习如何设计高效的Prompt以获得最佳模型输出结果，深入掌握Prompt Engineering技巧，提升与大模型的交互质量。
- Prompt engineering介绍
- 最佳实践
- Zero-shot, Few-shot, CoT, ReAct, Reflexion
- Prompt Chaining
- 结构化输出

二、LangChain开发

学习目标：掌握LangChain的高级工具与RAG 和Agent技术，能够构建复杂的AI应用。

2.1 LangChain基础
学习目标：掌握LangChain的基本用法，理解如何在复杂任务中使用该框架。
- LangChain模块和体系
- LLM & Chat models
- PromptTemplates, OutputParses, Chains
- LLM apps debug
2.2 LangChain Chat Model
学习目标：能够使用LangChain开发具有记忆功能的Chatbot。
- Prompt templates: Few shot
- 为Chain添加Message history (Memory)
- 基于LangChain的Chatbot
2.3 LangChain Tools & Agent
学习目标：深入学习LangChain的工具和Agent，包括数据处理、任务管理、插件使用等。
- Multimode集成
- Ouput parsers: JSON, XML, YAML
- 自定义Tools, 调用Tools
- 创建和运行Agent
2.4 Embedding & Vector Store
学习目标：掌握如何使用Embedding模型和向量数据库进行高效的信息检索
- Embedding models
- Vector stores向量数据库
- 基于LangChain构建向量存储和查询
2.5 RAG专题
学习目标：理解RAG工作机制，学会使用文档加载器和文本分割器处理数据，学习如何结合检索和生成模型来处理复杂的任务。
- RAG简介
- Document loaders & Text splitters
- Loader, Splitter, Embedding等综合应用
2.6 自定义组件专题
学习目标：掌握回调处理和自定义模型的开发。学会自定义组件以满足特定需求，增强模型的灵活性和功能性。
- Callback 处理
- 自定义 callback handlers
- 自定义 Chat model
- 自定义 RAG: Retriever, document loader
2.7 基于LangChain的常用案例实战
学习目标：掌握使用LangChain处理实际问题的方法，包括文档问答、数据查询和集成网络搜索功能。
- PDF 文档问答
- 基于 Web URL 的问答
- 基于 SQL 的 CSV 数据分析问答
  Web Search 集成
2.8 带RAG的Chatbot实战
学习目标：构建一个具有复杂对话记录处理能力的Chatbot。
- Chatbot Memory, RAG, Tools 大对话记录处理
2.9 LangGraph开发实战
学习目标：掌握LangGraph的应用，理解如何通过图结构来增强模型的推理能力，学会构建复杂的多智能体系统。
- LangGraph 核心组件: Graphs, State, Nodes, Edges, Send…
- LangGraph 实现：可控性 Agent 框架, 持久化, Human-in-the-loop, streaming, React agent
- Agent 使用案例: Chatbots, Multi-Agent Systems, RAG, Planning Agent…

三、LlamaIndex开发

3.1 LlamIndex框架
学习目标：掌握LlamaIndex的核心模块和应用构建。
- 与 LangChain 框架对比
- 核心模块介绍: Models, Prompts, Loading, Indexing, Storing, Quering, Agent, Evaluation
- RAG pipeline 构建: Loading, Indexing, Querying, Evaluating Agent 构建
3.2 基于LlamIndex框架的应用
学习目标：基于LlamaIndex框架开发大规模文本搜索和内容推荐系统。
- 大规模文本数据搜索内容推荐
- AI 问答
- LlamaIndex 与 LangChain 集成
- LlamaIndex RAG CLI 工具

四、AutoGen开发

4.1 AutoGen Studio
- AutoGen Studio UI
- Python集成workflow
4.2 AutoGen Framework
- 快速入门
- LLM配置
- Agent类型与Code Executors自动化代码

五、LLM大模型训练与微调

学习目标：具备大模型的训练与调优能力，能够开发和优化适用于特定领域的AI模型

5.1 模型即服务共享平台
学习目标：学会使用共享平台和本地环境开发和部署大型语言模型。
- Hugging Face, ModelScope 平台功能
- 加载在线模型, 离线模型
- 模型推理调用
- Transformers 使用，利用模型完成任务：文本，语音，Embedding Models
5.2 私有部署本地大模型
学习目标：掌握本地大模型的安装部署和调用
- 硬件配置分析（推理和微调）
- 常用大模型选型: LlaMA 3, Gemma, Mistral…
- 本地大模型安装部署
- 本地大模型调用
- 本地大模型与对话 APP 应用集成
5.3 训练自己的大模型
学习目标：深入理解Transformer模型的工作原理，掌握大模型的训练流程和评估，量化技术。
- Transformer 模型详解, Encoder, Decoder
- 制作和加载数据集（训练、验证、测试）
- 模型训练Train (单卡, 多卡)，分布式训练
- 模型评估：方法论、评估指标
- 模型量化: AWQ, GPTQ, GGUF
- 模型部署
- API 调用
5.4 大模型微调
学习目标：掌握基于预训练模型的微调技术，针对特定领域进行模型的训练与优化，构建专属行业模型。
- 构建专属行业模型: 基于预训练大模型 Fine-tune
- 微调对比: 提示工程, RAG, Fine-tuning 对比
- Prompt Tuning, Prefix-Tuning, LoRA, QLoRA
- 基于 OpenAI Fine-tuning
- 本地大模型的 Fine-tuning
- 特定任务的大模型推理和训练实践: 文本分类, 序
- 列标注, 文本生成, 图像分割
5.5 特定任务的模型微调训练
- 基于BERT的中文评价情感分析
- 如何处理超长文本训练问题
- GPT2-中文生成模型定制化微调训练
- GPT2-中文生成模型定制化内容输出
- LlaMA3大模型本地部署与调用
- 使用自定义数据集和LlaMA-Factory完成LlaMA3微调训练
- LlaMA3 LoRA微调测试评估、模型合并、量化
- LoRA微调后的模型部署
5.6 多模态大模型使用
- 多模态大模型基本概念
- 本地部署CogVideoX-5B文生视频模型
- Llama 3.2-Vision模型架构剖析
- Llama 3.2-Vision模型预期用途
- 使用ollama部署Llama-3.2-11B-Vision-InstructGGUF实现视觉问答