企业内训｜高智能数据构建和多模态数据处理、Agent研发及AI测评技术内训-吉林省某汽车厂商

吉林省某汽车厂商为提升员工在AI大模型技术方面的知识和实践能力，举办本次为期8天的综合培训课程。本课程涵盖“高智能数据构建与智驾云多模态数据处理”、“AI Agent的研发”和“大模型测评”三大模块。通过系统梳理从非结构化数据的高效标注与融合，到LangChain等框架下Agent的链式调用与RAG技术落地的全过程，帮助学员深入理解大模型在感知、决策和场景适配中的核心价值。课程详细探讨自动驾驶多模态数据处理的全栈架构，包括摄像头、激光雷达、车载日志与高精地图等多源数据如何采集、标注、融合与持续迭代，并结合分布式训练与推理优化和场景长尾策略等关键议题。最终，学员不仅能掌握前沿的Agentic AI研发方法，还能利用成熟的测评体系有效评估并改进大模型的精度与稳定性，为一该企业集团自动驾驶技术的升级提供坚实支撑。TsingtaoAI团队全面负责本次培训课程的设计研发和培训落地。

部分授课课件

培训目标

系统掌握多模态构建：深入理解高智能数据构建与多模态处理的完整方法论，从需求分析到标注、评估与迭代，奠定自动驾驶多源数据管理的坚实基础。

强化大模型辅助能力：理解自动驾驶中大模型辅助标注与数据扩增策略，涵盖语义级图像生成、文本变体生成及主动学习循环，提升感知与决策的鲁棒性。

熟练构建AI Agent：熟练运用LangChain、RAG等框架构建AI Agent，掌握ReAct等核心模式与工具调用机制，并能适配企业内部数据。

掌握多智能体协作：学会在Python环境中封装外部API与数据库，将传感器API、ERP和知识库整合进Agent工作流，构建更高效的智能服务体系。

深度融合与性能优化：探究多模态数据在分布式训练与推理下的优化策略，熟悉Early/Intermediate/Late Fusion等方法，确保自动驾驶感知与预测的精确性。

建立测评体系：建立结构化大模型测评体系，涵盖通用与垂直领域基准、多轮对话测评及自动化与人工评估要点，保证模型可解释性与安全合规。

详细课程大纲

模块一：高智能数据构建与智驾云多模态数据处理（3天）

1、高智能数据构建的整体方法论及思路

• 从业务需求到数据需求：全链路规划
  • 在自动驾驶项目中，高智能数据构建的典型流程：
    • 明确业务/功能/场景需求（如自动泊车、高速领航、城区辅助驾驶等）；
    • 确定数据类型（摄像头、激光雷达、雷达、超声波、车载日志、地图信息、非结构化文本资料等）；
    • 数据挖掘与筛选；
    • 数据处理与标注；
    • 数据校验与质量评估；
    • 数据持续迭代与增量更新。
  • 如何将业务逻辑映射到数据结构化需求，特别是涉及自动驾驶功能时对多模态数据的依赖和分层处理方案。
• 高智能数据构建中的难点与挑战
  • 非结构化数据规模庞大且多源异构（文本、图像、视频、音频、CAN 总线数据、位置信息等），需要高效处理与统一管理。
  • 数据标注成本高且对准确度要求极为苛刻，尤其在自动驾驶安全相关领域，错误标注可能导致模型推理出现系统性偏差。
  • 场景长尾与极端复杂工况问题，必须通过数据策略（采集、清洗、增广、筛选）与模型策略结合才能有效应对。
  • 数据隐私与合规性挑战，特别是涉及车主个人信息、拍摄到行人面部等。
• 与 AI 大模型结合的思路
  • 如何借助大模型（如 GPT 系列模型、BERT 变体、中文大模型的最新进展）来快速对非结构化数据进行语义理解、自动生成标注建议等，从而显著提升数据构建效率。
  • 在自动驾驶场景中，利用大模型做数据自动补全、文本解析、日志分类与异常检测等技术实践价值与应用案例。

2、非结构化文档如何快速结构化

• 典型自动驾驶非结构化数据来源与处理痛点
  • 车辆系统日志、故障诊断报告、研发文档、测试报告、语音交互日志等。
  • 在大规模数据平台中如何进行分块、分布式存储与高并发处理。
• 基于大模型的文档解析与结构化技术
  • 预训练语言模型（如 Chinese-BERT、ERNIE、MOSS 等）如何提取关键语义信息。
  • 文档向量化与嵌入：使用向量数据库（Milvus、Faiss、ElasticSearch）快速检索和聚类海量文本。
  • 文本结构化工具链：
    • 自定义规则 + 大模型辅助解析：结合正则表达式、高级匹配规则、命名实体识别与大模型零/少样本学习能力加速处理。
    • 标签/字段自动化抽取：例如从故障诊断报告中自动提取故障类型、发生频率、影响范围等字段，用于结构化表格或 JSON。
  • 落地实践：文档结构化自动管线搭建
    • 数据接入与初步清洗（高效OCR、转录等）；
    • AI 大模型辅助的文本内容解析；
    • 统一数据模型（UDM）设计与关联数据库/数据湖。

3、高质量训练数据的标准定义与评估方法

• 自动驾驶场景下“高质量数据”评价指标
  • 准确性：标注精准度（对于感知层，目标检测/分割的 IOU 指标；对于决策层，场景标签分类的准确率）。
  • 完整性：是否覆盖了自动驾驶主要场景（高速、城市、隧道、恶劣天气、多车道拥堵等），以及长尾/极端场景占比。
  • 一致性：不同数据源（传感器）间的数据同步与融合程度，标注结果是否有跨源一致性。
  • 新鲜度：数据是否及时更新，尤其车载传感器与路侧单元融合时，时间戳对齐和版本控制是否完善。
• 通用的数据质量评估手段
  • 统计分析：分布可视化、异常检测、聚类分析、一致性检查。
  • 模型验证：利用已有小规模高置信度标注数据或仿真环境做快速验证。
  • 自动化工具链：对标注错误、数据缺损、标签不一致等进行自动检测和报警。
• 基于大模型的辅助评估
  • 使用大模型做数据异常语义检测：例如在大量文本日志中，自动检测潜在的标签不一致、语义冲突或非预期文本输入。
  • 结合主动学习思路，为自动驾驶数据的增量采集与标注提供置信度筛选机制；在模型预测结果不确定性较高或罕见场景中，优先触发人工复核。

4、大模型在自动化标注中的应用场景与核心能力

• 自动化标注的流程
  • 感知层常见标注类型：物体检测（bounding box、polygon）、语义分割、关键点检测、3D 点云标注（激光雷达/毫米波雷达数据等）；
  • 语音交互/文本处理场景常见标注类型：对话意图分类、槽位填充、故障日志中错误类型识别等。
• 大模型辅助自动标注的实现思路
  • 图像/视频标注：结合视觉大模型（如 Vision Transformer、Swin Transformer、SEER 或国内研究团队自研的大规模视觉预训练模型），对图像中对象类别与位置进行初步检测并生成标注草稿；再由人工快速审核修正或通过主动学习循环不断优化。
  • 文本标注：利用 GPT 等语言大模型进行实体识别、关系抽取、分类标注。
  • 3D 点云标注：通过深度学习网络（SECOND、PointPillars、CenterPoint 等）对点云进行物体检测，输出可能的点云包围盒，由大模型或自定义规则进一步筛选与自动化合并/拆分，大幅缩短人工操作时间。
• 大模型自动标注的优势与挑战
  • 优势：
    • 极大提高标注效率、减轻人工工作量；
    • 初步标注的精度对于常见场景较高，可帮助企业快速构建海量训练数据。
  • 挑战：
    • 模型输出仍需人工或小规模高精准模型校验，以确保质量；
    • 长尾及非典型场景中自动化标注质量不稳定；
    • 场景需求快速变化时，如何动态更新自动标注模型。

5、大模型辅助下的数据扩增与数据修正

• 数据扩增在自动驾驶中的作用
  • 自动驾驶系统的泛化能力与安全性极大依赖于对各种场景的覆盖，涵盖天气、路况、交通参与者行为等多变因素；
  • 传统扩增手段（旋转、平移、颜色变换等）与大模型辅助的“语义级”扩增（在不破坏场景逻辑的前提下添加障碍物、改变天气等）。
• 基于大模型的图像/文本内容生成与数据扩增
  • 图像生成：Stable Diffusion、ControlNet 等扩展思路，通过文字描述或初始场景输入生成更多多样化图像，用于训练数据拓展；
  • 文本生成：在对话系统或用户手册场景下，使用 GPT 类模型生成更多变体或噪声文本以强化模型对语言变化的鲁棒性。
• 自动纠正与数据修正
  • 在标注中发现错误或不一致标签，如何利用大模型进行自动纠正建议；
  • 与数据校验管线结合，让大模型对低置信度样本自动做“二次判断”或提出修正建议，在人工确认后完成修正闭环。

6、多模态数据融合输入训练的要点

• 自动驾驶多模态数据融合场景
  • 摄像头与激光雷达数据结合（2D-3D 融合）进行目标检测与跟踪；
  • 高精地图/导航地图与车辆前视摄像头融合进行车道线检测、道路语义识别；
  • 车内语音/日志与摄像头数据相结合，用于驾舱监控、疲劳检测、行为分析。
• 多模态大模型训练管线设计
  • 数据对齐与时间同步：保证不同传感器的采样时间戳、坐标系一致；
  • 特征提取与表示：摄像头图像特征、激光雷达点云特征如何进行融合或注意力交互；
  • 融合策略：early fusion、late fusion与intermediate fusion；
  • 训练与推理阶段一致性：在推理/上线阶段，如何保证实时多模态数据处理能力与训练设置一致。

7、智驾云多模态数据处理架构

• 多模态数据处理的典型系统架构
  • 数据采集层：车辆采集（摄像头、雷达、ECU 日志）、路侧设备、第三方数据源；
  • 数据传输与预处理层：5G/V2X 通信、数据缓存、消息队列（Kafka、RabbitMQ）、数据格式转化（ROSbag、PCD 文件、视频流解码等）；
  • 云端存储与管理层：分布式文件系统（HDFS、Ceph）、数据湖、关系型数据库/时序数据库等；
  • 多模态数据处理引擎层：AI 训练平台（GPU/TPU 集群）、自动标注服务、大模型推理服务、多模态融合算法服务；
  • 数据可视化与下游应用层：驾驶仿真、数据洞察、模型评估平台。
• 关键技术要点
  • 对接高并发实时流数据的方法（Spark Streaming、Flink 等流式处理）以及存算分离如何设计；
  • 如何在云端管理大模型推理负载（分布式推理框架、模型缓存、弹性伸缩）。

8、智驾云多模态数据处理工具链

• 云端数据处理与管理工具
  • 自动驾驶数据管理平台：数据标注管理、版本控制、数据集打包与发布；
  • AI 训练与推理平台：Kubernetes + Kubeflow 或 MLflow 的流水线管理；
  • 分布式计算：Spark、Flink、Ray 在自动驾驶数据清洗、ETL、特征工程中的角色。
• 多模态数据融合的云端工作流
  • 云端对接传感器数据：上传、预处理（去噪、格式转换）、存储；
  • 调用大模型或自研模型进行自动标注/初步推理，生成中间结果；
  • 人工复核与反馈；
  • 数据入库或下发到仿真/测试环节做模型训练、性能验证。

9、多模态数据处理中的性能优化与大规模分布式训练

• 性能优化的关键要素
  • I/O 瓶颈：数据读取速度、不同文件系统及列式存储方式对多模态数据读写效率的影响；
  • 并行度设置：显存/计算资源优化、多 GPU 分布式训练的通信开销；
  • 网络带宽与延迟：云端计算集群内部网络如何提升吞吐量，减少训练等待时间。
• 分布式训练框架的对比与应用
  • PyTorch DDP、Horovod、Megatron-LM 等在大模型训练场景下的实践；
  • 混合精度（FP16/BF16）、模型并行、流水线并行在自动驾驶多模态大模型中的应用；
  • 如何根据场景选择合理的并行策略（数据并行 vs. 模型并行 vs. 流水线并行）。

10、多模态数据融合更深层的策略与方法

• Early Fusion深入剖析
  • 在输入层就将多源传感器数据合并，例如将激光雷达点云投影到图像平面后做 2D+3D 协同检测；
  • 优势：模型可更充分学习到多模态的低级特征融合；挑战：对同步和标定准确度要求极高，数据维度大且对硬件性能要求也高。
• Intermediate Fusion
  • 让不同模态先提取特征，再在中间层用注意力机制或特征拼接进行融合；
  • 代表性网络结构：Hierarchical Fusion、Cross Attention 等，探讨在自动驾驶感知与预测中如何使用自注意力机制让图像特征和点云特征交互。
• Late Fusion
  • 不同模态在单独网络中完成推断，然后在决策层对结果进行融合（如多模型投票、置信度加权、逻辑合并等）；
  • 优势：系统更灵活，易于扩展；缺点：丢失了融合的细粒度信息，整体精度可能较低。

11、传感器标定与配准技术

• 标定与配准的重要性
  • 在自动驾驶多传感器环境中，摄像头内参、外参以及相对于激光雷达的旋转和平移矩阵对融合效果至关重要；
  • 标定误差会导致融合后目标检测位置偏移或不一致，影响可视化和算法性能。
• 标定流程
  • 单目相机内参标定：基于棋盘格或标定板，获取相机焦距、光心位置、畸变系数；
  • 多相机系统外参标定：通过特征对应、空间几何法或激光雷达辅助标定；
  • 激光雷达与摄像头融合标定：基于同场景点云与图像特征匹配，或使用额外的标定板（带有 3D 参考点）。
• 标定工具与自动化
  • 常见开源标定工具箱：ROS camera_calibration、Kalibr、MATLAB Camera Calibrator、Autoware 等；
  • 大模型在标定中的潜在辅助：自动识别标定板角点、自动匹配特征点，提高标定效率。

12、高阶模型精度优化：Fine-tuning 与后处理策略

• Fine-tuning 大模型在多模态感知场景的策略
  • 如何在已有预训练视觉/语言/多模态大模型基础上进行微调，使之适应特定的自动驾驶感知或场景理解任务；
  • 参数高效微调方法（LoRA、Prefix Tuning、Adapter 等）在算力和效率上的优势，适合快速试验。
• 后处理与插值策略
  • 对于感知模块输出的检测或分割结果，常见后处理手段：NMS、时序平滑、轨迹跟踪等；
  • 大模型辅助的轨迹预测与插值方法，让检测结果在时序上更稳定并为决策模块提供更平滑的输入。

13、复杂环境与长尾场景数据处理策略

• 长尾场景的特点与难度
  • 极端气候（暴雨、暴雪、沙尘、强光等）、特殊道路状况（塌方、施工、特殊地形）、罕见交通参与者行为（逆行、醉驾、随机变道等）。
  • 数据采集难度大、出现频率低，但对系统安全性至关重要。
• 长尾数据管理与采集
  • 主动搜集策略：在实际道路测试或模拟器中人工触发特定场景；
  • 仿真平台支持：基于 CARLA、LG SVL、PreScan 等仿真软件生成极端场景数据；
  • 大模型辅助生成：在现有数据基础上，语义方式合成极端天气效果或稀有行为场景。
• 长尾场景专用策略
  • 在标注与模型训练阶段给予长尾场景更高权重；
  • 使用不平衡数据处理技巧（focal loss、在线难例挖掘）或基于强化学习的自动数据筛选。

14、智驾云多模态数据处理中的质量保障与监控

• 数据全生命周期监控
  • 采集阶段：传感器在线检测、数据格式合规与基础质量检查；
  • 传输阶段：数据丢包检测、存储一致性校验；
  • 标注与训练阶段：标注质量抽样检验、模型训练日志与指标监控；
  • 上线阶段：在线推理质量监测与回传数据分析，形成闭环。
• A/B 测试与增量迭代
  • 在自动驾驶场景下进行新老模型的并行测试，比较其在实际或模拟环境中的表现；
  • 通过在线学习或半自动化管线快速迭代新模型，并利用回传数据进行纠偏。

模块二：AI Agent研发（3天）

1、高级提示工程与思维链技巧

• 提示工程在 AI Agent 中的地位
  • 如何构建复杂场景下可扩展的 Prompt 模板。
  • 提示工程如何与 Agent 的Action和Observation相互关联。
• Chain-of-Thought与Self-Consistency技术
  • 思维链的核心要点：引导模型进行多步推理。
  • 自洽性在搜索任务、推理任务中的应用。
  • 代码示例：编写一个内置思维链的提示模板，示范零样本、单样本与少样本提示的对比。
• 提示工程中的上下文管理
  • 如何有效利用上下文窗口，处理汽车行业的特定指令或术语。
  • 对话式问答 vs. 工具调用提示。

2、LangChain 框架进阶

• LangChain 核心组件与工作流程
  • PromptTemplate、LLMChain、Index、Tools等概念。
  • 介绍 LangChain Expressions Language的用法，使链式调用更加直观。
• LangChain 在 Agent 研发中的地位
  • LangChain 如何简化构建Agent和管理对话状态。
  • ReAct 模式在 LangChain 中的实现思路：Action-Observation-Thought 循环。
• 与知识库、检索系统的耦合
  • 如何利用 LangChain 的文档Loader)集成企业内部大量文档（如技术手册、维护文档、汽车装配指令等）。
  • 向量数据库在 LangChain 中的对接。
• 复杂对话流程：多轮对话与上下文保持
  • 构建多轮对话 AI Agent 的技巧：对话记忆 (ConversationBuffer) 与上下文管理。
  • 在汽车维修场景下保持上一次对话的故障排查结论如何影响下一步决策。

3、RAG系统原理与实操

• RAG 核心概念与对 AI Agent 的价值
  • 汽车行业中大量文档、维修手册、供应链文件对 AI Agent 的信息依赖。
  • RAG 如何确保答案的可控性、准确性与可解释性。
• 文档分块与向量化
  • 如何针对汽车技术文档进行最佳分块策略（如基于段落、基于语义等）。
  • 向量化工具选择（国内外框架对比：Faiss、Milvus、Elasticsearch、Chroma 等）。
• 检索策略与检索技巧
  • ElasticSearch 在大规模文档检索中的优势。
  • 本地向量数据库 (如 Milvus) 与云服务 (如 阿里云 DashVector) 的对比。
  • Query 优化与语义搜索：如何让 AI Agent 准确地找到与汽车故障相关的段落。

4、AI Agent 的基础结构与类型

• 不同类型的 AI Agent
  • 工具型 Agent、规划型 Agent、对话型 Agent、问题求解型 Agent 等分类。
  • ReAct、MRKL、Plan-and-Execute 等常用模式对比。
• AI Agent 与外部工具的交互
  • 车企常见的外部工具：车辆数据接口、传感器 API、内部数据服务、ERP/CRM 系统等。
  • 如何让 Agent 根据需要自动调用这些工具完成任务（如自动查询车辆行驶数据、经销商备件库存等）。

5、Agentic AI 设计模式与多智能体协作

• ReAct 模式深入
  • ReAct 模式在复杂任务中的典型示例：检查车辆故障时如何基于推理和调用维修工具。
  • 代码演示：ReAct Agent 如何一次次调用外部服务，并根据观察结果更新推理流程。
• 其他常用设计模式
  • Self-Reflective Agent：自动对自己的回答进行校验和修正，用于关键任务场景。
  • ToolFormer 代理模式：利用自监督学习把外部 API 嵌入提示中。
  • Multi Agents 协同：多个 Agent 如何分工协作完成复杂任务（如一个Agent 处理车载图像识别，另一个Agent 负责语言对话）。

6、Python 环境下构建 AI Agent

• 选择合适的大模型
  • 国内外开源模型与商用模型对比：Qwen、GPT-o1等。
  • 如何基于企业自身的需求（如隐私、安全与定制化）做模型选择或微调。
• 定义工具与 API
  • 将企业内部功能（如数据库查询、传感器数据获取、车辆健康诊断系统）封装成可调用的 API 或 Python 函数。
  • 将公共服务（如百度地图、供应链管理系统）也可作为外部工具封装给 Agent。
• 采用 ReAct 模式编写指令提示
  • 详细拆解：Thought、Action、Observation和Answer各环节的编程要点。
  • 代理如何根据对话上下文来决定下一步调用哪一个工具。
• 与数据库、知识库、RAG 系统的整合
  • 将向量数据库（Chroma/Milvus/Elasticsearch）嵌入 Python 工程中，通过检索增强来支持 Agent 回答。
  • 如何在实际项目中结构化管理文档索引、元数据、API Key 等信息。
• 实操环节：学员创建一个 Python 项目：

1. Model 选择与加载
2. ReAct Prompt 模板编写
3. 工具封装与自动调用
4. 与向量数据库或知识库的交互测试

需要调试、运行，并验证 AI Agent 的端到端功能。

7、框架式构建 Agentic AI 系统

• LangChain、CrewAI、Coze、Dify 等常见框架概览
  • 对比各框架在功能特性、易用性、扩展性、安全性方面的优劣。
  • 国内的低代码框架与国际开源框架如何互补。
• Agent 构建流程
  • 使用 LangChain 构建 ReAct Agent 的具体过程：PromptTemplate + LLMChain + Tools + Memory + Agent。
  • CrewAI 与 Coze 等项目的特点简述：多 Agent 协同、工作流式管理等。
• Multi-Agents 系统实践
  • 将多个 Agent 协同设计在一起：如一个Agent 负责推荐算法，另一个Agent 负责自然语言对话，再一个Agent 负责数据挖掘。
  • 提高系统整体效率与任务拆分能力。

8、构建高级 Agentic RAG 系统

• Self-RAG 与 Corrective RAG 技术
  • Self-RAG：Agent 如何对自己的检索结果进行二次审校，避免错误扩散。
  • Corrective RAG：如果检索到的信息存在偏差或不完整，如何自动调用纠偏逻辑或再次检索。
• 外部工具增强 RAG
  • 如何整合 OCR、机器翻译、Web 爬虫等外部工具到 RAG 流程中，让 Agent 具备更强大的信息获取与理解能力。
  • 汽车行业场景：将车辆故障图像通过 OCR/图像识别后，再进行文本向量检索。
• 自反性 RAG 系统
  • Agent 每次产生回答后，对回答进行评价或评分，并自动进行下一步处理（例如再次检索、更新回答等）。
  • 在企业内部文档繁多，且质量参差不齐的情况下提升问答可靠性。

9、Spring AI 体系简介与核心功能

• Spring AI 的位置与架构
  • Spring AI 与 Spring Boot、Spring Cloud 等微服务生态的集成思路。
  • 企业级场景常见需求：鉴权、安全审计、日志记录、可扩展性、部署方式（docker/k8s 等）。
• Spring AI 内置功能
  • Advisor：处理 AI 模型的请求与响应；内置 RAG Advisor 的工作机制。
  • DocumentRetriever：如何根据查询获取文档，实现企业级搜索（对接 Elasticsearch 等）。
  • Evaluator：评估 RAG 应用给出的结果，以保证回答准确性。
  • 在 ETL流程中的应用：从 Office 文档、OCR 到向量化加载。
• Spring AI 与RAG的深度整合
  • Spring AI新增功能的使用场景和注意事项。
  • 在车企内部落地时的网络与数据安全管控要点。

10、Spring AI 的 RAG 进阶实操

• 文档 ETL：提取、转换与加载
  • 详细演示如何从 Word、Excel、PPT、扫描 PDF 中获取文本。
  • OCR 技术的关键：低分辨率车间扫描件如何提高识别率，常见中文 OCR 工具对比。
  • 文档分块策略与中文文本分词的技巧（对汽车零件名、零件编号等特殊标记处理）。
• 不同向量数据库的选型与 Spring AI 集成
  • Chroma：轻量易用，本地开发演示环境常用。
  • Elasticsearch：适合大规模生产环境，搜索与向量检索一体化。
  • DashVector（阿里云）或 Milvus：云上或大规模高并发场景。
  • 代码片段：Spring AI 如何调用对应库的 SDK 进行写入与检索。
• 检索、增强、生成三部曲的进阶案例
  • 检索：查询扩展、查询路由；根据车辆类型或故障码做定制化查询。
  • 增强：对检索到的文档分段重新排序、内容压缩、抽取关键故障信息。
  • 生成：最终的文本回答如何组织并返回给调用方（如车间技术员、售后客服等）。
• 结合 Multi-Agents 场景
  • 将 Spring AI 中的 RAG Advisor 与另一个规划 Agent 结合，实现一个高可用、多步骤的问答系统。
  • 日志和监控：如何对多 Agent 协作中的调用进行记录与回放，解决可能的冲突与死循环。
• 实操环节：学员分小组完成一个典型的企业内 RAG 方案。

1. 对文档进行提取（OCR + Office）与分块，加载到向量数据库；
2. 编写 Spring AI 程序，使用 Advisor 与 DocumentRetriever；
3. 测试检索与生成的结果，并使用 Evaluator 进行质量评分；
4. 增加一个规划 Agent 实现多步骤问题解决场景（如车辆故障诊断+智能调度备件）。

模块三：大模型测评（2天）

1、通用与垂直领域测评集的构建

• 通用测评集和垂域测评集的构建差异
  • 通用测评集的广泛适用性与垂直领域测评集的专业针对性。
• 如何构建覆盖全面的测评点
  • 包括适用性、安全性等关键维度的全面覆盖。
  • 数据收集与标注的技术与方法。

2、典型的测评集与工具

• SuperCLUE、CMMLU、GAOKAO-Bench等中文测评基准详解
  • 各测评基准的适用场景与测评指标。
• OpenCompass和FlagEval等开源测评工具的实操
  • 工具的安装、配置与使用示范。
• 各类测评集的选择原则及其适用场景
  • 根据应用需求选择合适的测评集，确保测评结果的有效性与可靠性。

3、测评集的评分标准及方法

• GSB评分法的具体使用方法
  • 评分标准的制定与实施步骤。
• 5分制评分与GSB的对比分析
  • 两种评分方法的优缺点与适用场景。
• 定量评估与统计分析的方法
  • 数据统计与分析工具的使用，确保评分结果的科学性。
• 用户体验反馈与专家评审标准的制定
  • 用户反馈的收集与分析，专家评审的标准化流程。

4、自动化测评方法

• 自动化测评集的构建与流程
  • 自动化数据生成与测评分发。
• 传统NLP与大模型的交互测评要点
  • 传统自然语言处理任务在大模型中的适用性与挑战。
• Perplexity、BLEU、ROUGE等指标的自动化测评应用
  • 各测评指标的计算方法与实际应用案例。

5、人工测评方法

• 单轮与多轮人工测评流程及其差异
  • 不同测评场景下人工测评的实施细节。
• 如何通过多模型交叉评测来验证准确性
  • 多模型协同测评的方法与优势。
• 人工测评在多模态模型中的应用
  • 文本、语音、图片等多模态数据的人工评估方法。

6、AI Agent中的应用与测评

• 智能体与大模型结合的实际应用案例
  • 客服、游戏角色、智能驾驶辅助系统等案例分析。
• 智能体测评的特殊维度
  • 长记忆能力、情感拟人度、隐私安全等特有测评指标。
• 不同类型智能体的测评场景设计
  • 针对不同智能体类型设计相应的测评场景与方法。

7、角色扮演类测评

• 角色扮演模型的性能标准
  • 语气、话风、逻辑一致性等指标的测评方法。
• 多轮对话中的逻辑连贯性及角色切换测评方法
  • 多轮对话的连贯性评估与角色切换的准确性测评。
• GSB评分在角色扮演类测评中的应用
  • GSB评分法在复杂对话场景中的具体应用案例。

8、高效测评技术

• TensorRT-LLM、VLLM等推理加速框架的应用
  • 推理加速技术在大模型测评中的应用与优化。
• 基于Prompt的自动化测试优化技术
  • Prompt设计与优化在提升测评效率中的应用案例。

专家讲师推荐

赵老师 AI 大模型算法专家

• 北京邮电大学 硕士研究生
• 北京邮电大学 本科

AI 与大模型领域资深专家，拥有北京邮电大学本硕连读的学术背景，积累了扎实的人工智能理论知识与丰富的项目实践经验。在字节跳动和中国银行担任算法工程师，并长期从事人工智能、大数据应用及 LLM 技术研发。目前在某明星 AI 科技公司负责 LLM 的落地项目，主要聚焦于智能客服领域的 AI 大模型技术的研发。

具备全栈 AI 研发能力，精通 Python 编程，熟悉大数据应用、LLM 模型的训练与微调，擅长使用 LangChain 框架及多模态处理技术。成功构建自研训练框架，支持 ChatGLM、Baichuan、Qwen 等主流开源大模型的微调，主导多个 AI 推理服务的开发与上线，帮助多个行业客户提升其智能化水平。项目涵盖语音识别、语音测评、智能客服等领域，尤其在 AI 大模型与智能客服的结合上具有深入的研究与实践经验。

专业技能

• 编程与工具：Python, Go, Kafka, TensorFlow, PyTorch, Jupyter, Docker, Kubernetes
• 人工智能与大数据应用：NLP、深度学习、ML、大数据分析
• 大语言模型技术：LLM 模型的训练、微调与部署（包括 ChatGLM、Baichuan、Qwen 等）
• 框架与技术：
  • LangChain 框架深度解析与实践
  • 多模态处理与多模态大语言模型应用
  • 知识图谱与大数据应用
• 智能客服系统开发：基于 LLM 的智能客服解决方案设计与实施
• 推理服务与模型落地：自主研发推理服务框架，支持自训模型及多模态服务应用
• 系统架构与后端开发：数据库设计、分布式系统、高并发处理

项目经验

1. 智能客服系统研发（某明星 AI 科技公司）

• 项目背景：为某大型互联网公司设计与开发智能客服系统，目的是通过 AI 大语言模型提升客服效率与质量，减少人工客服依赖。
• 技术栈：Python, ChatGLM, Baichuan, LlamaIndex, LangChain, Kafka
• 工作内容：
  • 主导基于 ChatGLM 和 Baichuan 的 LLM 模型训练与微调，提升对行业术语与用户问题的理解能力。
  • 设计并实现多轮对话系统，集成自然语言处理技术与情感分析算法，实现智能应答和情绪识别。
  • 优化模型推理速度与精度，确保系统能够在高并发场景下稳定运行。
  • 搭建推理服务框架，实现模型的高效部署与实时更新。
  • 与产品团队密切合作，调优系统性能，成功上线并支持百万级用户互动。

2. 智能语音测评系统（字节跳动）

• 项目背景：为字节跳动旗下的教育产品开发智能语音测评系统，帮助用户进行英语口语训练与自动评分。
• 技术栈：Kaldi, Conformer, Transformer, Python
• 工作内容：
  • 基于 Kaldi 框架，训练英语语音识别模型，使用 Conformer 与 Transformer 模型改进端到端语音识别精度。
  • 构建语音评分系统，结合语音特征与语言模型，通过深度学习算法对用户发音进行打分与反馈。
  • 完成服务端与手机端的推理部署，确保语音测评系统在不同设备上的高效运行。
  • 在大规模用户测试中，系统稳定运行，准确率达到行业领先水平。

3. 多模态 AIGC 项目

• 项目背景：智能客服与多模态生成的技术开发，结合大语言模型与图像生成技术，提升客户交互体验。
• 技术栈：LLM, GPT-3, 图像生成, Python, TensorFlow, LangChain
• 工作内容：
  • 领导团队构建基于 LLM 的智能客服系统，支持文本、语音、图像等多种输入方式。
  • 设计多模态生成算法，实现文本到图像的生成能力，提升用户互动的趣味性与效率。
  • 完成模型微调与推理服务的开发，确保系统能够实时响应用户需求，优化客户体验。

4. 语音识别与客服语音审核系统

• 项目背景：开发语音识别与客服语音审核系统，主要目标是通过智能语音分析提升客服质量与合规性。
• 技术栈：Conformer+Transformer, ASR, Python, Kafka
• 工作内容：
  • 设计与实现基于 Conformer 与 Transformer 的语音识别系统，支持流式识别与离线识别。
  • 搭建服务端推理系统，进行大规模语音数据处理，提升识别准确率。
  • 开发语音审核功能，通过语音情感分析与合规检测，保障客户服务的合规性与安全性。

5. 自研训练框架与数据处理平台

• 项目背景：为了提升大语言模型（LLM）训练效率与可扩展性，赵宽带领团队开发了一个自研的训练框架，并结合实际业务需求设计数据处理与生成平台。
• 技术栈：Python, TensorFlow, Baichuan, ChatGLM, Kafka, MySQL
• 工作内容：
  • 开发训练框架，支持主流 LLM 模型（如 ChatGLM1&2、Baichuan1&2、Qwen14B）的全参数微调与 QLora 微调。
  • 设计数据生成流程，根据不同业务需求定制数据集，进行高质量的数据预处理与增强。
  • 构建多维度的训练指标监控与可视化系统，帮助团队实时调整训练策略，提高训练效果与稳定性。

讲师经历

1. 中信银行 LLM Driving 课程培训

• 培训内容：
  • 讲解大语言模型（LLM）的基础原理、训练与微调技术。
  • 深入介绍 LLM 模型在实际项目中的应用，包括模型优化与部署策略。
  • 培训学员如何在实际项目中利用 LLM 技术提升服务质量与效率。

2. 广汽如祺 AIGC 技能培训

• 培训内容：
  • 讲解 LLM 模型与多模态 AIGC 联合应用技术。
  • 探讨 LLM 在多模态生成中的能力，如何在产品设计中融入 AI 生成技术。
  • 实际操作案例，帮助学员掌握 LLM 模型在多模态应用中的创新应用。

客户反馈（新致软件）

潘老师 自动驾驶技术专家

刘老师 元戎启行技术合伙人兼副总裁

元戎启行副总裁、技术合伙人。曾任英特尔高级工程师，主导推动多个技术项目的研发落地及全球推广。在智能硬件、物联网、智能制造、车载电子领域连续成功创业。

相关会议及分享

2023全球自动驾驶峰会（GADS 2023）：https://mp.weixin.qq.com/s/3SfC5L11wQhGTbcFpbD3qg

前装量产，是Robotaxi商业化落地要克服的最大难题：https://mp.weixin.qq.com/s/Zw23Hmuc-fTp5wdVimKYCw

不依赖高精度地图的全域高阶智能驾驶：https://mp.weixin.qq.com/s/NWi7iu5p2qW_ZE1HganRgg

从“无图”走向端到端|第四届中国智能汽车创新大会：https://mp.weixin.qq.com/s/741sRI4j_iewrYJfzsBFcw

新技术搅动汽车行业，新基建加速自动驾驶商用落地：https://mp.weixin.qq.com/s/gTOSCjHIOuYOZvDo2joPhw

高级别自动驾驶迈入量产时代｜GTIC 2022演讲：https://mp.weixin.qq.com/s/ZhLRuB6089SGkeZ01IHOpg

刘老师 交通大数据资深算法专家

昇启科技联合创始人兼CTO，毕业于浙江大学计算机学院，前滴滴智慧交通数据算法团队负责人，交通大数据资深算法专家，主要研究方向为交通流建模，运筹优化算法、自动驾驶决控算法以及交通大数据并行计算。

相关会议及分享

一站式端到端自动驾驶研发测试平台：

https://mp.weixin.qq.com/s/WuF8Ys8oIOv9VU4u6146Hg

https://mp.weixin.qq.com/s/GJqI1ugcoLfrCTGiZSy82A

一站式，AI驱动的端到端自动驾驶模型研发测试平台：

https://mp.weixin.qq.com/s/XpK9Y1mlIfxYKaCPJUZCeg

https://mp.weixin.qq.com/s/fB4tdmwS7Xo44u96Y1wBJA

https://mp.weixin.qq.com/s/cEHlYYk4VkR-j8QW-CqavA

孙老师 AI 大模型资深算法专家

现任网易技术总监、网易有道语音交互技术负责人，网易集团技术委员会音视频分委会秘书长，拥有信号与信息处理方向博士学位，专注于人工智能、大语言模型（LLM）和智能客服领域的技术研发与创新。在 AI 技术，尤其是 AI 语音、大模型和智能客服解决方案方面有深厚的理论基础和实践经验。在业界的技术影响力较高，是多项技术创新与研发的核心推动者，参与并主导过多个具有行业领先意义的项目。致力于打造更加智能、好用的 AI 老师及语音交互系统，已发表高质量学术论文 10 余篇，并拥有 10 余项授权专利。

教育经历

• 博士（硕博连读），中国科学院声学研究所语言声学与内容理解重点实验室（中科信利），2005-2010
  研究方向：信号与信息处理，课题为《鲁棒语音识别的若干技术研究》。
  发表学术论文 10 余篇，涵盖语音识别、语音处理及智能交互技术等领域，SCI 期刊论文多篇。

工作经历

• 网易有道信息技术（北京）有限公司，2019 年 1 月—至今
  技术总监、语音交互技术负责人
  主导并参与了多个基于大语言模型（LLM）与 AI 技术的创新项目，特别是在智能客服、智能学习助手、AI 教师等领域的技术研发与应用落地。
  主要贡献：
  • 研发并成功落地了基于大语言模型和 Agent 技术的“子曰大模型”项目，打造了业内领先的 AI 老师解决方案，广泛应用于教育和在线服务行业。
  • 组建并带领语音技术团队，推动公司内部外部多个明星项目的技术研发，为网易集团的各大业务线提供语音交互技术支持。
  • 成功落地多个基于 LLM 的 AI 客服解决方案，提高了智能客服的理解深度和响应精度，大幅提升了用户体验。
  • 推动跨部门协作，整合 AI 技术与业务需求，优化产品的智能化水平，使公司在智能客服与语音技术领域取得显著的市场优势。
• 北京联想软件有限公司，2013 年 1 月—2018年12月
  语音技术负责人
  主导了多个智能语音产品的研发工作，包含语音交互系统、语音识别系统和语音理解模块等，推动了智能硬件和智能客服的技术发展。
  主要贡献：
  • 成功研发并推出国内首个免触语音拨号/接听、拍照产品方案，广受市场欢迎。
  • 设计并开发了自研的语音交互解决方案，应用于多个智能硬件产品中，提升了产品的智能化体验。
  • 负责语音技术的技术架构设计、需求分析与方案实现，确保语音技术与产品的无缝对接。
  • 为公司在智能客服系统的研发中提供了语音识别与语音处理的核心技术支持，优化了客户服务的自动化和智能化程度。
• 北京三星通信技术研究院，2010 年 7 月—2013年1月
  语音技术工程师
  参与并主导了三星 S-Voice 在线/离线语音方案的开发，为三星智能设备提供了稳定且智能的语音交互体验。
  主要贡献：
  • 参与了 S-Voice 语音助手的研发，优化了语音识别算法及语音理解模块，提升了语音助手的响应速度与识别精度。
  • 在在线/离线语音识别技术的研发过程中，成功实现了多语言、多口音的语音识别支持，提升了产品的全球竞争力。
  • 为多个智能硬件项目提供语音交互技术支持，推动了语音技术在消费电子产品中的应用。

主要项目经验

1. 子曰大模型：基于 LLM 和 Agent 的 AI 教师解决方案
   1. 背景：在 AI 教育领域，用户对个性化学习和智能化教育的需求日益增加，尤其是在智能客服和虚拟教师方面。
   2. 技术挑战：如何通过大语言模型（LLM）提升虚拟教师的自然语言理解能力，实现场景化互动和智能化学习。
   3. 成果：研发了基于 LLM 和 Agent 技术的“子曰大模型”，成功实现了自然语言处理（NLP）技术与语音识别的深度融合，使 AI 教师能够根据不同学生的学习情况提供个性化反馈。
   4. 应用领域：广泛应用于教育培训、在线学习、知识问答等场景，显著提升了学习效率和用户满意度。
2. 智能客服系统优化与大语言模型落地
   1. 背景：传统的智能客服系统在理解深度和自然语言处理方面存在较大局限，难以满足用户复杂的问题解答需求。
   2. 技术挑战：如何通过 LLM 和 AI 技术打破传统客服系统的瓶颈，实现高效、准确、自然的客户互动。
   3. 成果：成功开发了基于大语言模型的智能客服解决方案，能够准确理解和解析用户的复杂问题，实现流畅的多轮对话。通过 AI 训练和数据优化，系统在理解深度和交互质量上有了大幅提升，显著减少了人工干预的需求。
   4. 应用领域：该智能客服系统广泛应用于金融、电商、互联网等行业，提高了客户服务效率，降低了运营成本。
3. 语音交互系统与 AI 客服一体化解决方案
   1. 背景：随着语音识别技术的成熟，越来越多的企业希望在客服系统中引入语音交互功能，提升用户体验和服务质量。
   2. 技术挑战：如何将语音识别、自然语言处理和大语言模型技术有机结合，实现多模态智能客服系统。
   3. 成果：研发了一整套基于语音识别和自然语言处理技术的智能客服解决方案，实现了语音与文字输入的无缝切换。通过 AI 大语言模型的支持，系统能够在各种复杂情境下提供智能解答。
   4. 应用领域：该系统被多个行业客户采用，特别是在客服、语音助手和智能硬件产品中，帮助企业提升了客户满意度和业务效率。

核心技能与技术专长

• 人工智能与大语言模型（LLM）：在智能客服、语音识别与自然语言处理等领域有深入的技术积累，能够根据不同业务需求定制大语言模型的应用。
• 语音识别与处理技术：精通语音识别、语音合成、语音增强等技术，能够针对不同语音场景提供最优技术方案。
• 智能客服与 AI 解决方案：拥有丰富的智能客服系统架构设计经验，熟悉如何将语音与文本数据结合，提升客服效率和用户体验。
• 项目管理与团队协作：具备领导跨部门团队的经验，能够有效推动项目进展，协调各方资源，确保项目按时交付。

学术成就与荣誉

• 发表 SCI 及核心期刊论文 10 余篇，涵盖语音识别、自然语言处理、智能交互等领域。
• 获得 10 余项技术专利，涉及语音处理、AI 交互、智能硬件等技术领域。
• 多次参与国内外学术会议，发表技术报告，并在人工智能与语音技术领域的研讨会上担任主讲嘉宾。

肖老师 资深多模态/具身智能算法专家

拥有超过 15 年的算法研究与实践经验。曾在世界五百强企业英特尔公司担任算法高级架构师，担任中国电子系统技术有限公司的算法 Leader，高性能计算技术专家，是一位经验丰富且技术精湛的资深 AI 基础设施操盘手。他拥有超过十年的高性能计算、算法研究和实践经验，曾在英特尔公司担任高性能计算架构师，并在多家 500 强企业中担任高性能计算和系统架构负责人。头部机器人公司担任视觉算法总架构师，直接参与了移动复合机器人和协作机器人的开发工作，通过引入大模型技术，成功地赋予了机器人自主导航、环境感知和决策规划的能力。并在高性能计算、人工智能和深度学习领域有着丰富的项目经验和卓越的技术能力，特别擅长高性能计算、图像处理、计算机视觉以及大规模计算系统的设计与优化，获得多项专利和荣誉。 华中科技大学硕士，曾在多个国家重点实验室及顶尖企业从事高性能计算及算法研发工作，领导并参与了多个重大项目的开发和实施。

工作经历

2006 年，英特尔上海国际实验室，高性能计算系统架构设计，大型并行图形系统的架构与设计开发；

2009 年，头部安全公司，并发与安全架构和视频监控系统设计，公安安全系统的架构设计与开发；

2012 年，大型通信集团，大型应急通信系统和视频安全监控设计，确保了系统的安全性和可靠性；

2016 年，大数据公司，企业家数据的数据安全和系统安全设计，多家公司设计和实施了信息化安全管理方案，大规模数据的分析和优化；

2019 年，大型央企，GPU、CUDA 与算力平台：深入研究并应用了 GPU 和 CUDA 技术，开发了多种高效的深度学习模型，广泛应用于图像和视频分析、目标检测和分类等领域；应用调优与性能监测：在项目管理和研发过程中，带领团队完成了多个智能视频分析引擎和智能办公引擎的开发，擅长对复杂算法进行性能优化和实时监测，确保系统的高效运行；算力调度管理与网络调优：在多个大型项目中，成功实现了算力调度管理系统的设计与实施，具备出色的网络调优能力，能够优化高性能计算环境下的资源利用率和系统稳定性。

2022.10，头部机器人公司，移动复合机器人和协作机器人的开发，移动复合机器人的开发，在移动复合机器人的研发过程中，我主要负责了智能导航与控制系统的设计与实现。通过引入大模型技术，我们成功地赋予了机器人自主导航、环境感知和决策规划的能力。

1. 环境感知与建模：利用大模型对传感器数据进行高效处理和分析，机器人能够实时构建周围环境的精确三维模型，为后续的路径规划和避障提供有力支持。

2. 智能导航算法：结合大模型的强化学习算法，我们训练出了能够在复杂环境中灵活导航的机器人。这些机器人能够根据实时路况调整行进路线，确保任务的顺利完成。

3. 人机交互体验：借助大模型在自然语言处理方面的优势，我们实现了机器人与操作人员之间的流畅对话，极大提升了用户体验和工作效率。

协作机器人的开发，协作机器人作为新一代工业机器人，强调与人类工人的安全协同作业。在这一领域，我主要聚焦于通过具身智能提升机器人的灵活性与适应性。

1. 智能抓取与装配：利用大模型对物体形状、重量及材质等信息的快速识别与处理，协作机器人能够准确抓取并灵活装配各种工件，大幅提高了生产效率和质量。

2. 自适应学习能力：通过引入深度学习技术，我们使协作机器人具备了自适应学习能力。它们能够在实际工作中不断积累经验，自动优化作业策略以应对复杂多变的生产环境。

专业能力

并行计算和高性能计算；

深度学习模型设计和优化；

多模态大模型应用设计；

GPU 与 CUDA 编程；

城市大脑与智能交通；

工业机器人和复合机器人大模型；

数据挖掘与运行优化；

国产信创环境适配优化；

专利

基于生成式深度学习模型的文本识别模型的生成方法以及装置 (CN202110447608.9)  ；

大型语义分析方法及装置 (CN202110499308.5)  ；

奖项:  荣获2021年度集团优秀解决方案奖  ；

授课经历

重庆大学：深度学习模型在大型物流场景的应用；

头部能源上市公司：大型时序数据预测模型的应用；

头部音视频公司：图形和视频大模型的应用；

百度合作：分拣实训和智能眼实训；

985 高校：机器学习与数据挖掘分析；

主讲课程

《高性能图形图像计算与算法》

《计算机视觉中的图像处理技术》

《视觉和多模态大模型应用》

《具身智能与多模态大模型应用》

《机器学习中的知识自学习与数据优化挖掘》

《大规模分布式系统设计与实现》

《GPU、CUDA 与算力模型应用实战》

《华为昇腾芯片下的大模型迁移和训练课程》

陆老师 LLM、AI、NLP 领域实践者

前微软亚洲研究院 NLP 研究员；

TGO 鲲鹏会 AIGC、AGIA 社区核心成员；

工信部人工智能应用高工认证；

阿里云 MVP；

前高顿教育 CTO；

行业 AI 培训案例

国家电网工建部及上海各区分公司 ——《ChatGPT人工智能在项目管理中的技术应用》

百亿量化私募基金白鹭资管 ——《GPT在量化私募行业的技术应用》

独立基金销售机构基煜基金 ——《GPT在金融行业的技术应用》

上海头部人力资源背调公司猎查查 ——《LLM在人力资源管理行业的技术应用》

TGO 鲲鹏会 AI 数智化转型主题培训 ——《LLM在企业数智化转型中的技术应用》

浦软孵化器 AI&元宇宙主题培训 ——《大语言模型在toB业务场景中的技术应用》

TGO 鲲鹏会 AGIA 社区主题培训 ——《LLM在数字员工产品中的技术应用》

万商俱乐部 AI 赋能商业主题培训 ——《ChatGPT的前世今生》

培训现场画面

贾老师 AI 大模型技术应用专家

教育背景

• 清华大学 计算机科学与技术硕士

职业经历

AI 科技企业创始人

作为一家专注于 AI 技术研发与应用的科技企业的创始人，全面负责公司的战略规划、技术研发和业务拓展。

• AI 架构设计：主导公司的 AI 技术架构设计，建立了从数据采集、处理、分析到模型部署的全栈 AI 解决方案。
• 产品研发：领导团队研发了多款基于大模型的 AI 产品，包括智能客服、语音识别、图像处理等，成功应用于多个行业。
• 业务拓展：与多家大型企业建立合作关系，推动 AI 技术在金融、零售、制造、能源等行业的落地应用。

头部科技公司集团 CTO

在知名科技大厂担任首席技术官，全面负责集团的技术战略、研发管理和创新推动。

• 技术战略制定：制定了集团的技术发展路线图，推动了云计算、大数据、人工智能等核心技术的布局和发展。
• 团队管理：管理超过 300 人的技术团队，建立了高效的研发流程和激励机制，提高了团队的创新能力和执行效率。
• 创新项目：主导了多个关键技术项目的研发和落地，包括大规模分布式计算平台、实时数据分析系统、智能推荐引擎等。

BAT 资深研发管理负责人

在国内顶尖的互联网公司担任高级研发管理职务，积累了丰富的互联网和技术管理经验。

• 大数据平台建设：负责大数据平台的架构设计和实现，支持每天数百亿次的用户访问和数据处理需求。
• 人工智能应用：带领团队开发了多项 AI 应用，包括个性化推荐、自然语言处理、计算机视觉等，提升了产品的用户体验和市场竞争力。
• 跨部门协作：与产品、运营、市场等部门紧密合作，推动技术与业务的深度融合，实现了技术驱动业务增长的目标。

专业资质

• 国家互联网数据中心创新战略联盟-专家委员：参与国家级数据中心的战略规划和标准制定，为我国数据中心的创新发展提供专业建议。
• 多项技术发明专利：在人工智能、大数据处理、分布式系统等领域拥有多项国家发明专利，体现了卓越的技术创新能力。
• 《企业 AI 大模型落地实战宝典》作者：撰写了业内首部系统介绍企业如何落地 AI 大模型的实战指南，为众多企业提供了宝贵的实践经验。

自媒体

• 微信公众号“数据与架构”：分享在数据架构、人工智能领域的深度见解和实践经验，拥有超过 10 万的专业粉丝。
• 抖音号“AI 流火哥”：通过短视频形式科普 AI 技术，分享行业动态和应用案例，累计播放量突破 500 万次。

项目经验

一、AI 架构设计与实施

在担任头部科技公司集团 CTO 期间，主导了集团级 AI 架构的设计与实施，实现了 AI 技术在公司各业务线的全面赋能。

• 构建统一的 AI 平台：建立了涵盖数据处理、模型训练、模型部署的全流程 AI 平台，支持不同业务场景下的 AI 应用需求。
• 数据治理体系建设：制定了数据标准、数据质量管理和数据安全策略，确保数据资产的高效利用和合规管理。
• AI 能力开放：通过 API 和 SDK 的形式，将公司的 AI 能力开放给生态合作伙伴，构建了共赢的 AI 生态圈。

二、Prompt Engineering 优化

在人工智能科技企业期间，深入研究提示词工程，提升了大语言模型在特定业务场景下的性能。

• 智能客服系统优化：通过精心设计提示词，提高了智能客服对用户意图的理解准确率，客服满意度极大提升。
• 内容生成工具开发：为媒体和营销行业开发了基于提示词的大语言模型内容生成工具，实现了高质量的自动化内容生产。
• 提示词模板库构建：总结不同业务场景下的最佳提示词实践，建立了提示词模板库，供团队和客户参考使用。

三、Agent 应用实践

领导团队开发了多个智能体应用项目，推动了 AI 技术在自动化和智能决策领域的应用。

• 智能交易代理：为金融机构开发了智能交易代理，利用实时数据分析和机器学习算法，自动执行交易策略，提高了投资回报率。
• 供应链优化智能体：在制造业中应用智能体技术，优化供应链管理，降低了库存成本，提高了交付效率。
• 智能家居助手：开发了支持多模态交互的智能家居助手，提升了用户的智能家居体验。

四、AI 在制造行业的研究

研究多个 AI 在制造业等传统行业的创新项目，助力行业数字化转型。

• 勘探数据分析平台：研究深度学习算法，对勘探数据进行分析和解译，提高了资源探测的准确性。
• 设备预测性维护：研究基于 AI 的设备故障预测模型，提前预警设备异常，降低了运维成本和停机风险。
• 生产优化决策系统：研究实时生产数据分析和优化系统，支持生产调度和资源配置的智能决策。

五、数据治理与大数据平台建设

在大厂任职期间，负责公司级数据治理和大数据平台的建设，支持了海量数据的高效管理和应用。

• 数据治理框架搭建：建立了覆盖数据标准、数据质量、元数据管理和数据安全的数据治理体系。
• 大数据平台性能优化：通过技术创新和架构优化，提高了大数据平台的处理能力和稳定性，满足了业务快速增长的需求。
• 数据驱动业务决策：推动了数据分析和挖掘在业务决策中的应用，为市场营销、用户运营等提供了有力支持。

六、企业 AI 大模型落地实践

帮助多家企业成功落地 AI 大模型，实现了 AI 技术的商业价值。

• 案例一：零售行业智能推荐系统
  为大型零售企业部署了 AI 大模型的智能推荐系统，提升了用户购买转化率和客单价，年度销售额极大增长。
• 案例二：金融行业风险控制模型
  与金融机构合作，开发了基于大模型的风险控制系统，提高了风险识别的准确性，降低了坏账率。
• 案例三：制造行业智能质检平台
  在制造业中引入 AI 视觉检测技术，实现了生产线的自动化质检，产品合格率极大提高。

培训与讲座

• 企业内训讲师
  为政府机构和大型企业的处级以上管理干部提供内训，内容涵盖 AI 架构设计、提示词工程、智能体应用、AI 在传统行业的应用和数据治理等。
  • 培训成果：学员反馈满意度高，帮助管理干部深入理解 AI 技术及其在行业中的应用前景，推动了组织的数字化转型战略。
  • 定制化课程：根据不同机构的需求，定制培训方案，确保培训内容的实用性和针对性。
• 行业大会演讲嘉宾
  多次受邀在国内外顶级科技和行业大会上发表演讲，分享 AI 技术的最新发展和实践经验。
  • 主题演讲：《AI 赋能传统行业的实践与思考》、《提示词工程在大模型时代的重要性》、《数据治理助力企业数字化转型》等。
  • 影响力：演讲内容被多家媒体报道，引发了行业内的广泛关注和讨论。

技术专长

• 人工智能与机器学习：精通深度学习、自然语言处理、计算机视觉等 AI 技术，熟悉 TensorFlow、PyTorch 等主流框架。
• 大数据处理与分析：具备海量数据的存储、处理和分析能力，熟悉 Hadoop、Spark、Flink 等大数据技术。
• 数据治理：深入了解数据治理的框架和方法，包括数据质量管理、元数据管理、数据安全与合规等。
• AI 架构设计：擅长复杂 AI 系统的架构设计，能够根据业务需求构建高性能、高可用性的 AI 解决方案。
• 行业解决方案：对制造业、能源、金融、零售、制造等行业有深刻理解，能够提供针对性的 AI 应用解决方案。

荣誉与奖励

• 行业影响力人物：多次被评为人工智能和大数据领域的年度影响力人物。
• 最佳技术创新奖：领导的项目获得多个行业最佳技术创新奖，体现了卓越的创新能力。

出版著作

• 《企业 AI 大模型落地实战宝典》
  系统阐述了企业如何从零开始构建和应用 AI 大模型，包括技术选型、团队建设、项目管理等方面，为企业 AI 转型提供了实战指南。
• 学术论文
  在《人工智能学报》、《计算机学报》等核心期刊发表多篇学术论文，内容涉及深度学习算法、数据治理模型等。

张老师 大模型算法/AI Infra 开发专家

北京邮电大学，网络与交换国家重点实验室，计算机科学与技术硕士。某互联网大厂高级 AI 工程师，深度学习框架开发与性能调优专家 horovod,spark,iceberg,hudi 等系列源码贡献者，“Tim 在路上”公众号主理人。

专业能力

熟悉大模型、深度学习框架，模型性能调优，有过深度学习框架开发调优经验。

熟悉 GPU, NPU, CUDA, CANN, Nccl, IB 等底层原理与工程实践。

熟悉数据湖/数据引擎的开发优化，例如针对 SparkSQL 源码级优化开发。

王老师 达观数据副总裁

高级工程师，浦东新区"明珠计划"菁英人才、BroadView2023“技术成长领路人”，人工智能标准编制专家。曾获得广东省科技进步奖二等奖，上海市计算机学会科技进步奖二等奖和上海市浦东新区科技进步奖二等奖。人工智能标准编制专家，《知识图谱：认知智能理论与实战》作者，参与编撰《智能文本处理实战》，《新程序员 * 人工智能新十年》顾问专家和文章作者，专注于知识图谱、通用人工智能 AGI、大模型、AI 大工程、NLP、认知智能、强化学习、深度学习等人工智能方向。上海市人工智能技术标准化委员会委员、上海科委评审专家、中国计算机学会（CCF）高级会员、中文信息学会（CIPS）语言与知识计算专委会委员、中国人工智能学会（CAAI）深度学习专委会委员。申请有数十项人工智能领域的国家发明专利，在国内外知名期刊会议上发表有十多篇学术论文。曾带队获得国内国际顶尖算法竞赛 ACM KDD CUP、EMI Hackathon、“中国法研杯”法律智能竞赛、CCKS 知识图谱评测的冠亚季军成绩。曾获 BroadView2023“技术成长领路人”、2022 年度电子工业出版社博文观点“优秀作者”等称号，2021 年度浦东职工科技创新英才优秀奖。被聘为上海市质量和标准化研究院培训中心企业标准化总监高级研修班教课讲师，高校学生人工智能训练营（同济大学）特邀企业导师，浙江大学中国数字贸易大讲堂讲师团专家。在达观数据致力于将自然语言处理、知识图谱、计算机视觉和大数据技术产品化，以 OCR、文档智能处理、知识图谱、RPA 等产品服务于金融、智能制造、贸易、半导体、汽车工业、航空航天、新能源、双碳等领域。

授课培训案例

1、DataFunTalk：达观数据知识图谱增强的大模型应用实践： 达观数据知识图谱增强的大模型应用实践

2、CNCC｜第六届知识图谱论坛-知识图谱赋能大数据大算力： CNCC｜第六届知识图谱论坛-知识图谱赋能大数据大算力-中国计算机学会

3、中国计算机学会-基于知识图谱的企业中台架构： 基于知识图谱的金融中台架构

4、知识图谱的自动化构建：数据集和评测： DataIntelligence发布FR2KG—最大的金融报告中文知识图谱 - 智源社区

5、InfoQ “驯服”不受控的大模型，要搞定哪些事？| 专访达观数据副总裁王文广：“驯服”不受控的大模型，要搞定哪些事？| 专访达观数据副总裁王文广_腾讯新闻

6、腾讯云最具价值专家 TVP： 腾讯云最具价值专家TVP-王文广-个人简介

7、数创大讲堂-知识图谱与大模型融合应用实践： 厦大数据挖掘中心|数创金融大讲堂系列报告（十三）——知识图谱与大模型融合应用实践

孙老师，资深大模型算法专家

毕业于中国科学技术大学自动化系，拥有 20+年 IT/AI 经验，先后在 IBM、华为、顺丰、KPMG 等知名企服务于 DBS,UBS,HSBC 等大型客户。2023 年起 All in 生成式 AI 应用创业，专注于大型智能制造领域的 AI 咨询、系统实施和培训。精通生成式 AI 相关技术栈和应用系统设计开发。

2023.10-至今：生成式 AI 研发专家

 持续跟踪国内外开源和闭源大模型的发展动态，进行本地部署或通过 API 集成到系统，熟悉 GPT, Claude, Gemini, Llama, Mistral, Command R, GLM, Qwen, Deepseek, Moonshot, Xunfei Spark, Ernie, Yi, MiniMax 等模型，能够根据行业不同的业务场景进行模型选取

 熟悉大量开源嵌入模型和向量数据库，如 BGE, Jina, Nomic 等系统嵌入模型和 Qdrant, Milvus, Chroma, LanceDB, Fincore 等向量数据库，并能提供选型建议

 熟练掌握 Langchain, Llamaindex, Langgraph 等生成式 AI 应用开发框架，并能根据不同行业的业务场景选型和应用

 研究了多个开源和闭源平台级产品，包括 Coze, DSPy 和各模型厂商提供的在线 chatbot 和智能体平台等

 设计开发了多个生成式 AI 应用，从简单的多轮对话聊天机器人，到 RAG、Agent、Agentic Workflow 还有 Vscode 代码生成插件和浏览器插件；精通生成式 AI 应用系统架构设计和系统调优

 部署了 stable-diffusion 模型进行文生图能力评估测试，同时持续跟踪国内外文生图模型和平台发展, 熟悉国内厂商文生图平台及 API

 部署并在系统种集成了 speech-to-text 和 text-to-speech 的模型，如 Whisper, EmotiVoice

 进行了多场大模型技术应用培训，包括对不同行业的 IT 团队进行的“AIGC 大模型技术在不同领域的场景化应用“培训。

2017-2023，KPMG 中国智能创新中心技术负责人

创建了 KPMG 中国智能创新中心，管理着从设计、开发、交付、上线到运维的全流程，团队规模将近 500 人。带领团队面向公司内外部客户设计和开发人工智能、大数据驱动的解决方案，围绕信用、风险、合规等业务领域构建知识库、算法模型和业务系统。服务的客户包括国内外知名企业，如 HSBC，平安集团、招商银行、太平洋保险、蚂蚁金服等等。

2001-2014，IBM，从技术开发到业务管理

作为技术团队负责人，带领团队进行应用系统设计、开发、测试、上线和运维；服务的客户包括：PCCW、DBS、国泰航空、UBS、UPS、深圳机场物流园等。

蔡老师 LLM 和多模态技术研发专家

中科院计算机博士，现任北京邮电大学计算机学院硕导，多模态内容分析及多模态大模型研究领域的专家。景行博士在多模态数据处理、机器学习和人工智能方面拥有丰富的研究经验和技术成果，致力于推动大模型技术在多个行业的应用，积累了深厚的理论基础和实践经验。

教育背景

• 2016.09—2020.06 中国科学院大学 计算机科学与技术 博士

可讲主题及培训内容

1. 多模态内容分析技术与应用
2. 大模型架构设计、优化与部署
3. 计算机视觉与深度学习
4. 自然语言处理与多模态融合
5. 智能推荐系统与个性化服务
6. 数据挖掘与机器学习

培训案例

• 中国电信：主持“大数据平台优化及开发应用实战”培训，提升了电信网络运维及开发团队的大数据应用实践能力，优化了多个数据分析应用软件的性能。
• 北京城建：开展“智能推荐系统与个性化服务”培训，提升华为研发团队在大数据处理和个性化推荐系统设计上的技术水平。
• 中科院软件研究所：负责“多模态内容分析技术及应用”培训，促进了科研团队在多模态数据处理和分析方面的技术提升。
• 京东集团：进行“计算机视觉与深度学习”培训，帮助京东 AI 团队在图像识别、物品分类等方面实现了技术突破。

个人资质

• 高级工程师职称
• 多模态内容分析及大模型技术专家
• IEEE 高级会员
• ACM 会员
• 发表 SCI 论文 10 篇，EI 会议论文 7 篇
• 作为项目负责人主持国家自然科学基金、省部级重点研发项目多项

发表论文与发明专利

• 论文：
  • 发表在《IEEE Transactions on Circuits and Systems for Video Technology》的论文“Multimodal Content Analysis and Applications”
  • 发表在《Pattern Recognition》的论文“Advanced Techniques in Image Recognition”
  • 发表在《Neural Computing and Applications》的论文“Neural Networks in Multimodal Data Processing”
  • 发表在《Neurocomputing》的论文“Deep Learning Models for Multimodal Data”
  • 发表在《Multimedia Tools and Applications》的论文“Tools and Techniques for Multimedia Data Processing”
  • 发表在 NeurIPS、AAAI、ACM MM 等顶级会议的多篇论文
• 专利：
  • “一种基于多模态数据分析的智能推荐系统”发明专利
  • “大规模数据处理与优化方法”实用新型专利

张老师 浙江大学AI专家

博士，曾在英国G5名校的伦敦大学学院（University College London）计算机系攻读博士学位并担任博士后，师从国际著名的信息检索与数据挖掘领域的Emine Yilmaz教授。他的研究主要涉及到机器学习、自然语言处理、知识图谱和AI for Science等方向，在Nature Machine Intelligence、Nature Communications、NeurIPS、ICML、ICLR、AAAI、WWW、ACL等人工智能顶级学术会议和SCI期刊发表四十余篇文章，谷歌学术论文引用量达到6000+（截止2024年8月）。他担任中国中文信息学会语言与知识计算专委会委员，教育部知识工程虚拟教研室成员，Big Data Research（中科院3区期刊）编辑，主持或参与国家自然科学基金、科技部科技创新2030-“新一代人工智能”重大项目、浙江省“尖兵”“领雁”重点研发计划项目、CCF-腾讯犀牛鸟基金、CAAI-MindSpore基金等近10项。曾获得中英教育信托者荣誉，华为MindSpore杰出导师奖，CCF-腾讯犀牛鸟优秀项目奖和AAAI-25学术新星奖（AAAI-25 New Faculty Highlight）。2023年10月10日，张强博士受邀在哈佛医学院举办的Channing Methods Meeting论坛上，进行1小时口头报告，获得来自哈佛大学、麻省理工学院等知名研究机构和学者的广泛关注。

他带领的AI交叉团队致力于大型语言模型和知识图谱等新兴通用人工智能技术在合成生物、分子材料、生命健康等领域的应用研究。近年来与多学科团队合作开展AI科学交叉研究，先后联合提出化学元素知识图谱ElementKG、融合“知识增强+提示学习”的分子对比学习KANO、基于分子属性图谱采样的元学习方法GS-Meta、高鲁棒分子表示学习iMoLD、专家知识共学习的分子吸附性预测模型DeepSorption、知识增强的蛋白质预训练模型OntoProtein、基于提示学习的蛋白质预训练模型PromptProtein、基于预训练大模型的蛋白质优化方法AFP-DE、基于知识指令的文本-蛋白质跨模态大模型InstructProtein，在Nature Machine Intelligence、Nature Communications等Nature子刊，以及NeurIPS、ICML、ICLR、AAAI、IJCAI等人工智能顶会，发表多篇AI for Science领域研究论文。论文整体发表情况请见 谷歌学术。

谢老师 西北工业大学AI专家

博导，西北工业大学海外引进人才，翱翔青年学者、教育部新世纪优秀人才，陕西省青年科技新星，教育部霍英东青年基础研究和西安市青年科技奖获得者，亚太信号与信息处理学会(APSIPA)杰出讲者。曾在比利时布鲁塞尔自由大学、香港城市大学和香港中文大学从事研究工作。主要从事音频、语音与语言信息处理、多媒体信息处理、机器学习与人机交互技术等领域的研究工作。在包括IEEE Transactions on Audio, Speech and Language Processing、 IEEE Transactions on Multimedia, ACL, Interspeech, ICASSP、ACM Multimedia 在内的重要期刊和会议上发表论文180余篇，带领团队多次获得学术会议最佳论文奖和多项国际评测第一名。主持多项国家和省部级科研项目。与华为、腾讯、搜狗、阿里巴巴、百度、微软、字节跳动、快手、爱奇艺、小米、京东、出门问问等超过20家业界企业开展了广泛深入的技术合作，众多研究成果已在企业获得应用。担任第十届国际中文口语语言处理学术会议（ISCSLP2016）程序委员会主席、第十一届和第十五届全国人机语音通讯学术会议（NCMMSC）程序委员会主席、IEEE口语语言处理研讨会(SLT2020)大会主席、2019中国多媒体大会（ChinaMM）程序委员会主席等。谢磊教授是IEEE高级会员、中国中文信息学会理事、中国中文信息学会语音信息专业委员会副主任，中国计算机学会语音听觉与对话专业组常务委员与秘书组成员、国际中文口语语言处理兴趣小组(SIG-CSLP) Workgroup Chair等。谢磊教授也担任了语音旗舰期刊IEEE/ACM Transactions on Audio, Speech and Language Processing的编委。

荣获奖项

• 首届中文音视频语音识别挑战赛(MAVSR)第一名
• 未来杯高校AI挑战赛语音赛道第一名
• ICOT2019最佳论文
• 2018 CHiME-5远场语音识别国际评测第三名(Ranking B Task)
• Zerospeech2017零资源语音国际挑战赛第二名
• Interspeech2016最佳学生论文提名（shortlist）
• ISCSLP2016最佳学生论文提名奖
• NCMMSC2015最佳学生论文
• Zerospeech2015零资源语音国际挑战赛第一名
• Interspeech2015 Zerospeech Challenge Best Paper Award
• Interspeech2014 最佳学生论文提名（shortlist） 
• MediaEval 2015 QUESST国际评测第一名
• MediaEval 2014 QUESST国际评测第二名 
• Interspeech2011 最佳学生论文提名（shortlist） 
• NCMMSC2011最佳学生论文提名奖
• HHME2009最佳论文奖 

长期从事音频、语音与语言信息处理、多媒体信息处理、机器学习与人机交互技术等领域的研究工作。音频语音与语言处理研究组（ASLP@NPU）的研究方向包括：语音识别、语音合成、语音增强与分离、语音关键词检出、声纹识别、对话系统与语音交互、音视频多模态处理、语音内容分析等。主持和参加多项国家自然科学基金、863计划、教育部新世纪优秀人才支持计划、香港研究资助局项目、国际合作课题、省部级基金课题与科技计划等。研究与应用并重是实验室的特色，开放交流是实验室的理念。目前，在国际合作方面，与新加坡南洋理工大学、新加坡国立大学、新加坡资讯通讯研究院、美国华盛顿大学、美国约翰霍普金斯大学、美国德州大学达拉斯分校等开展了深入研究合作。近年来围绕国家“新一代人工智能”拟人化人机交互的重大需求，实验室深入开展全链路智能语音处理技术，在多项语音识别、关键词检出、语音增强、声纹识别国际评测中取得第一名的顶尖成绩，实验室入选2019《互联网周刊》中国人工智能高校排行十大顶尖实验室。产学研合作是该实验室的一大特色。目前实验室先后与包括腾讯、华为、阿里巴巴、搜狗、微软、字节跳动、爱奇艺、百度、小米、京东、出门问问等在内的业界众多企业开展广泛深入、多层次的产学研合作，研究成果应用于语音搜索、智能音箱、智能玩具、手机语音助手、录音笔、智能手表、智能电视、在线语言学习、远程语音会议、AI开放平台和云端信息服务中。

卢老师 AI大模型技术专家

北京科技大学博士， 北京大学博士后，腾讯高级研究员，曾就职于腾讯、爱奇艺等知名互联网公司， 著有《速通机器学习》、 《速通深度学习的数学基础》等作品。 主要从事人工智能技术的应用和研发工作，主要研究方向为机器学习、自然语言处理、知识图谱、推荐系统等，有多年的理论和实践经验。

张老师 资深的 AI 算法专家

超过十年的技术研发和项目管理经验，尤其在 LLM 技术、机器学习、深度学习及其在实际业务场景中的应用上有丰富的实战经验。“开源技术人”公众号主理人，研究各种大模型的疑难杂症。擅长大规模模型的设计、开发、优化和评估，并成功领导了多个行业级项目的落地实施，涵盖金融、制造、公共安全和互联网等多个领域。通过在技术领域不断学习和实践，积累了深厚的算法优化、模型加速以及大模型测评的理论与实操经验。他也是多个业内知名企业的技术顾问，帮助企业提升其 AI 能力，推动前沿技术的应用和落地。

专业技能

• 编程与开发：精通 Python 编程、C++、Java，熟悉 Linux 环境下的开发，掌握现代软件工程的各种工具与框架。
• 深度学习与机器学习：熟练使用主流深度学习框架，如 TensorFlow、PyTorch、Keras，拥有丰富的模型训练、调优和部署经验。尤其擅长 NLP、CV、多模态模型的开发与调优。
• 大模型技术：对主流大模型架构如 GPT、BERT、T5、LLAMA 等有深入理解，熟悉其训练流程、微调策略和模型测评标准。
• 算法优化与加速：深入掌握 ONNX、TVM 等工具，擅长模型转换、优化及硬件加速工作，能够针对不同业务场景定制高效的模型推理流程。
• 大数据处理：具备处理和分析海量数据的能力，熟练使用 Spark、Hadoop 等大数据工具，能够高效进行数据预处理、特征工程及模型训练。
• 数据库与系统开发：精通 MySQL、MongoDB 等数据库管理系统，熟练掌握分布式架构设计，能够为复杂系统的部署提供全面的技术支持。
• 项目管理与团队领导：具有丰富的团队管理经验，能够根据项目需求组建、培养和领导技术团队，确保技术项目的成功交付。

工作经历

2024 年至今 | 北京某软件上市公司 | 算法负责人

• 负责公司的大模型算法产品线，全面主导模型研发、优化和测评工作。
• 带领团队参与了多个智能制造和金融领域的 AI 应用项目，推动多模态数据集的构建和模型微调对齐，确保模型在实际业务场景中的高效应用。
• 在 FFT 项目中负责核心算法的开发与优化，利用先进的机器学习技术加速 FFT 计算流程，实现了业务中的关键技术突破。

2021-2023 | 北京某金融科技公司 | 算法负责人

• 参与央行资金追踪算法模型的研发，负责湖南省公安厅智能禁毒大数据项目，在数据挖掘、模型预测和智能决策方面取得了重要成果。
• 推动 AI 技术在金融反洗钱、反欺诈等领域的实际应用，帮助金融机构建立起更加完善的风控体系。
• 主持多个 AI 项目的评估工作，特别是大型模型的测试与性能评估，确保算法能够在复杂的金融场景中稳定、高效运行。

2019-2021 | 某大数据研究院 | 算法研发工程师

• 主导多个大数据与 AI 项目的研发工作，涵盖疫情大数据平台、工业大数据平台、肾小球识别平台等领域，开发并优化了多种机器学习和深度学习算法。
• 负责大数据平台的架构设计与性能优化，提升了系统的数据处理能力，并确保在高并发场景下的稳定运行。
• 参与了多个模型的测评工作，积累了丰富的大模型测试经验。

林老师，大模型技术应用专家

16 年产业数字化和智能化技术背景，北京航空航天大学计算机仿真专业硕士，挪威工作两年，连续创业者，深谙大型企业的数字化技术路线。

AIGC 知名创新企业墨见 MoLook 创始人和 CEO，阿里云前解决方案总监，负责基于云计算、AI、IoT 的产品和解决方案沉淀、业务拓展、生态建设，挪威软件公司 Prediktor 前中国区负责人，ICA 联盟工作组组长，阿里云 CIO 学院讲师。连续 3 年阿里云产品销售额 1 亿+，曾服务于陕煤、美孚、中国国网、南方电网、中烟、上海电气、宝钢、物产中大、东方希望等客户。

擅长 AIGC 的视觉和文本技术，作为多个 AIGC 项目的负责人，对 AI 技术在企业落地方面有丰富的经验和深刻的见解。

AI 创业公司的 LLM 项目已落地南信投、欧冶、中烟等企业。视觉项目已落地苏美达、三彩、雅戈尔等企业。

率领墨见为多家大型公司提供了完整的 AIGC 解决方案，包括基础大模型、知识库 RAG、工作流等方面的技术和应用落地。南信投作为江苏第一大国资金融集团，墨见帮助其搭建 AI 大模型应用平台，并打造智慧办公、数字员工等应用，与其数字化系统紧密结合。欧冶作为贸易公司，墨见帮助其打造票据审核、知识库等 AI 服务应用。

林琚深谙云计算、大数据、物联网、AI 等技术原理和路径，以及在企业落地实现的方式。是技术落地企业的实战派。作为互联网产品解决方案负责人，林琚参与规划与建设了超过 300 个企业数智化项目，其中包括 30 个大规模项目，实战经验丰富。作为 AIGC 公司的创始人，对 AI 技术以及 AI 在企业的应用有深度理解。

过往授课主题及培训内容

1. 大模型技术基础
   1. 大模型的基本原理与架构
   2. 主要大模型框架与技术应用
2. 大模型在制造行业的应用
   1. 制造行业数据分析与建模
   2. 风险控制与预测
   3. 客户行为分析与推荐系统
3. 多模态内容分析
   1. 多模态融合技术
   2. 图像、文本与语音数据的综合处理

企业领域的 LLM 产品研发和培训案例

1. 合作开发：风险预测系统
   1. 以外部核心技术身份参与科技企业研发项目，研发基于大模型的风险预测系统，成功提升了风险控制的准确性和效率。
   2. 为该企业技术团队提供大模型技术辅导和培训，覆盖数据预处理、模型训练与优化等内容。
2. 合作开发：客户行为分析与推荐系统
   1. 主持开发基于多模态内容分析的客户行为分析系统，为客户提供个性化推荐服务。
   2. 对相关部门进行系统使用与大模型技术应用的培训，促进了新技术在实际业务中的落地。
3. 南信投：大模型平台合作项目
   1. 与南信投合作开发大模型应用平台，推动大模型在行业的广泛应用。
   2. 提供针对内部技术人员的专项培训，涵盖大模型开发与应用的各个环节。

叶老师 中国科学院自动化研究所/多模态人工智能系统全国重点实验室副研究员

叶佩军，博士，中国科学院自动化研究所/多模态人工智能系统全国重点实验室副研究员，硕士研究生导师，兼任山东交通学院特聘研究生校外导师，西安交通大学软件学院研究生课程特聘授课专家，长期致力于复杂系统、智能交通、自动驾驶等领域的基础及应用研究，主持国家自然科学基金面上项目、青年基金，国家自然科学基金重大项目子课题等多个国家级科研项目，作为研究骨干参与国家“973”课题、国家“863”课题、国家重点研发计划、广州亚运会公共交通管理辅助决策系统、青岛市平行交通系统、杭州市城市交通大脑等多个科学研究及工程应用项目，发表一区SCI/SSCI学术论文50余篇（其中第一或通讯作者20余篇，高被引1篇），以第一作者身份出版人工智能专著2部，取得11项授权发明专利，获得2017年中国公路学会科学技术一等奖，2020年中国智能交通协会科学技术二等奖，2020年中国自动化学会自然科学一等奖。相关研究受到国家留学基金资助，公派赴美国加州大学圣地亚哥分校认知科学系交流访问。叶佩军博士目前担任多个学术和社会服务职位，先后入选中国科学院青年创新促进会会员，北京市软件和信息服务业协会专家库成员，北京市海淀区央地交流人才专家库成员，国际学术期刊《IEEE Transactions on Intelligent Transportation Systems》编委，《IEEE Transactions on Computational Social Systems》编委，《IEEE Transactions on Intelligent Vehicles》编委，中国自动化学会平行智能专委会委员。

杨老师 智能汽车控制系统专家

长期从事新能源智能汽车三电控制、智能汽车AI模型及优化、域控制器架构安全、功能安全、预期功能安全、网络安全等教学科研工作。先后获武汉理工大学自动化专业本科，北京信息科技大学电信系硕士，武汉理工大学车辆博士、东风汽车公司新能源汽车动力驱动系统方向博士后。曾在天津通信广播研究所从事北斗飞机导航、722舰船通信研究所从事舰船通信、清华大学汽车节能与安全国家重点实验室从事线控转向工作，借调教育部从事专业认证等工作。是新工科、产教融合、新能源智能汽车控制系统复合型领域专家。该领域发明专利第一作者30余项，发明专利成果产业化5项以上，其中包括威马汽车。曾在：工信部人才中心、教育部SGAVE项目、ⅠBM、阿里斑马、地平线、eTON、舍弗勒、东风公司股份、东风商用车、东风岚图、上汽集团、南汽集团、一汽集团、吉利集团、五菱、三一、联合电子、中汽研、清华大学苏研院、上海交大继续教育学院、中国汽车报网络平台2020智能汽车精品课程等汽车行业新能源智能汽车控制系统内训、ISO26262功能安全、21434、21448等培训咨询专家、盖世汽车、东方瑞通lT培训、中国电池联盟协会讲师、多家汽车行业培训公司、公众平台等讲师、腾讯新工科研究院特聘专家。现在武汉理工大学汽车工程学院、武汉理工大学新能源与智能网联车湖北省工程技术研究中心工作、机械工业出版社汽车类顾问专家、浙江智能网联创新中心专家、武汉市新能源汽车产业协会专家、四川省汽车产业协会专家、教育部汽车专业评估专家、高校毕业生就业协会校企专家、中国汽车维修行业协会高级专家、中国光谷创新企业协会汽车分会秘书长、南昌理工学院客座教授、汉鼎智能高级顾问。多次参与国内鉴定机构新能源汽车司法鉴定。机械工业出版社第二主编《汽车构造》、主编《智能网联汽车技术与原理》、化学工业出版社《图说汽车域控制技术》、《新能源汽车电控、电机与电池系统结构与故障诊断》。

相关案例

课程名称	培训周期	培训内容及成果	服务客户	课程或案例链接
大模型实操深度技术研修	4天	大模型实操课程涵盖了模型迁移与适配、模型训练调优以及模型推理优化三大核心内容。学员将通过实际操作，掌握多模态大模型的迁移方法、大模型的预训练与调优技巧，以及在复杂场景下的推理优化技术。课程强调实操训练，帮助学员提升在实际项目中应用大模型的能力。	中国移动云能力中心	企业内训｜大模型实战技术深度研修-某智算厂商研发中心-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
AI/大模型/智能体的测评/评估技术	2	本课程是TsingtaoAI专为某电信运营商的互联网研发中心的AI算法工程师设计，已于近日在广州对客户团队完成交付。课程聚焦AI算法工程师在AI、大模型和智能体的测评/评估技术中的关键能力建设，深入探讨如何基于当前先进的AI、大模型与智能体技术，构建符合实际场景需求的科学测评体系。课程内容涵盖大模型及智能体的基础理论、测评集构建、评分标准、自动化与人工测评方法，以及特定垂直场景下的测评实战等方面。通过结合前沿的推理加速框架和去中心化测评技术，课程将展示多模态测评及角色扮演类测评的技术应用。同时，通过典型案例剖析测评流程，帮助学员全面掌握如何在不同应用场景下优化测评技术，达到衡量模型性能、适用性、可靠性和安全性的最佳实践目标。	中移互联网	企业内训｜AI/大模型/智能体的测评/评估技术-某电信运营商互联网研发中心-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
RAG&CoT深度技术课程	2天	本课程深入讲解LLM领域的两大前沿技术：RAG和思维链CoT。本课程通过理论与实践相结合的方式，详细介绍RAG和CoT技术的基本原理、应用场景、技术实现方法以及最新的研究进展，帮助学员全面掌握这些技术的核心要点。	新致软件	News｜RAG&CoT深度技术课程开班-某IT软件上市公司-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
提示词工程师高阶培训	2天	本课程是一门面向电信运营商技术团队的高级培训课程，旨在深入探讨深度学习与大模型技术在提示词生成与优化、客服大模型产品设计等业务场景中的应用。内容涵盖了深度学习前沿理论、大模型技术架构设计与优化、以及如何将提示词工程与电信行业的实际业务需求紧密结合。通过深入的技术探讨、案例分析和实战操作，学员将学习到最新的LLM技术和提示词工程技巧，并掌握如何在复杂的业务环境中设计、优化和部署大模型解决方案，以提高电信业务的自动化和智能化水平。	中移在线总部	企业内训｜提示词工程师高阶技术内训-某运营商研发团队-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
华为昇腾智算中心深度技术研修	4天	深入解析了基于华为昇腾技术栈的智算集群建设与交付，包括设备选型、测试方案与标准、算子开发与调试、HCCL集合通信及网络设备相关的实践细节。通过典型案例，我们探讨了常见问题的排查流程、算子的高阶实现方法及集群的优化策略。此外，还涵盖了华为CCAE、NCE、MindX、ModelArts架构的高级功能与实操培训，为AI开发提供了全面的支持。	中国移动云能力中心	企业内训｜华为昇腾智算中心深度技术研修-某智算厂商研发中心-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
Nvidia智算中心深度技术研修	7天	课程深入探讨了英伟达技术栈在智算领域的应用，涵盖网络技术、智算集群建设、测试标准、通信优化、分布式训练、以及融合算子优化等关键内容。课程结合典型案例和实操培训，帮助学员全面掌握英伟达GPU在智算集群中的应用与优化技巧，提升在大规模计算和深度学习领域的专业能力。	中国移动云能力中心	企业内训｜Nvidia智算中心深度技术研修-某智算厂商研发中心-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
人机对话大师：打造流畅AI互动系统，实现无缝交流	3天	【GenAI实训课程】人机对话大师是一门专为高校AI/IT/CS专业学生、教师及企业IT员工设计的24课时课程，旨在教授构建流畅AI互动系统的技能。课程涵盖GenAI、NLP、语音识别与合成等技术，帮助学员掌握从语音转文字到文字转语音的全过程。通过实战演练，学员将学会使用Python、LangChain、ChatGPT等工具，创建高效的AI系统，并将其集成到美观的网页应用中。	某职业教育平台	【GenAI实训课程】人机对话大师：打造流畅AI互动系统，实现无缝交流-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
从LangChain接入ChatGPT到制作股票分析AI团队	4天	本课程深入探讨了AI在文案策划与写作中的应用，旨在培养学生如何利用AI技术进行深入的市场分析、精准的受众洞察以及高效的创意生成。课程内容不仅涵盖了文案策划的基本原则，包括目标设定、受众分析，还特别强调了创意思维的培养，通过AI工具激发学生的原创性和吸引力。学生将学习到如何根据不同媒体与电商平台的特点，撰写出具有吸引力的文案，同时通过案例研究，深入理解AI技术与创意策略的结合，提高文案效果。	某职业教育平台	【GenAI实训课程】从LangChain接入ChatGPT到制作股票分析AI团队-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
LLM大模型技术	5天	一门课程全面掌握LLM大模型技术应用开发的所有内容。本部分采用任务式和项目式的学习模式。主要学习内容包括： 大模型开发基础：大模型的训练与应用、大模型实操与API调用、提示工程技术； RAG基础与架构：RAG基础与架构、文档切分常见算法、向量数据库常见算法； RAG与LangChain：LangChain基础应用、理解Function Calling、LangChain与Retrieval组件、LangChain与Chain组件、Advanced RAG、基于RAGAS的RAG的评估； 模型微调与私有化大模型：开源模型介绍、模型微调基础、GPU与算力、高效微调技术-LoRA； Agent开发：Agent开发基础、自定义Agent工具、深入浅出ReAct框架、深度剖析Agent核心部件、Agent案例分享和前沿应用； 智能设备与小参数模型：智能设备上的模型优化基础、模型在智能设备上的部署、边缘计算中的大模型应用； 多模态大模型开发：多模态大模型基础、多模态模型项目剖析、多模态大模型应用分析。	某教育培训机构	【金钻就业计划】Part2-AIGC应用开发实践课程:多模态大模型应用开发-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
LLM大模型技术及应用	5天	培训内容全面覆盖了AI、大数据、机器学习等核心领域，课程涵盖以下几个主要模块： AI技术的最新进展与思考 - 深入剖析AI技术在不同领域的创新应用；大模型及其在元宇宙中的应用-介绍大模型在虚拟现实中的实际应用案例；Transformer技术及其原理解析 - 深入理解Transformer技术的基础和进阶应用；ChatGPT与大模型的启示 - 探讨ChatGPT等大模型在实际工作和学习中的应用；LLaMA模型及其应用开发-学习LLaMA模型的部署和优化方法。	京东物流教育	【师资培训】LLM大模型技术及应用师资研修班-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
LLM大模型理论及实践	2天	TsingtaoAI为某央企数据中心开展的关于LLM大模型理论及实践的专题培训。本次培训深入探讨大模型技术在企业数据中心的应用，包括数据准备、模型训练及微调、模型部署和实际应用场景。详细介绍如何通过预训练与微调方法有效提升模型性能，并探讨传统NLP与LLM的结合方式，以解决实时动态知识库的挑战。此外，本课程还分享了在资源受限条件下如何优化模型配置，确保技术的最佳实施。	中国石油	【企业内训】LLM大模型理论及实践-某央企数据中心授课课件-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
大模型训练与智能数据标注-实战技术课程	10天	本课程专为立志成为AI训练师的学员设计。课程内容涵盖了从数据采集、数据清洗、数据标注，到大模型训练和智能系统运维的全流程。通过理论讲解与实战操作相结合的方式，帮助学员掌握AI训练师所需的各项技能。 本课程注重大模型训练的最新技术和前沿应用，结合当前AIGC和LLM技术的发展趋势，系统地介绍了大模型在各类实际业务场景中的应用。课程内容涵盖了从数据采集与处理，到大模型训练的全流程，旨在通过详细具体的教学和实操练习，使学员能够真正掌握AI训练师所需的技能。	四川创新人力资源开发中心	大模型训练与智能数据标注-实战技术课程-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训
LLM大模型技术内训	2天	本次培训项目是TsingtaoAI为华南某大型商业银行研发中心的产品经理、研发工程师、算法工程师定制开发的全面的大模型知识及其在金融行业中的应用培训和课题研讨。通过本次课程，学员深入了解了大语言模型（LLM）的基本原理、应用场景、案例分析以及实际操作技巧，从而在需求沟通和产品设计中能够更好地运用大模型技术。	广发银行研发中心	LLM大模型技术内训-某大型商业银行研发中心-TsingtaoAI-LLM/AIGC产品开发、企业内训和高校实训

关于 TsingtaoAI

TsingtaoAI 企业内训业务线专注于提供 LLM、具身智能、AIGC、智算和数据科学领域的企业内训服务，通过深入业务场景的案例实战和项目式培训，帮助企业应对 AI 转型中的技术挑战。其培训内容涵盖 AI 大模型开发、Prompt 工程、数据分析与模型优化等最新前沿技术，并结合实际应用场景，如智能制造、金融科技和智能驾驶等。通过案例式学习和 PBL 项目训练，TsingtaoAI 能够精准满足企业技术团队的学习需求，提升员工的业务能力和实战水平，实现 AI 技术的高效落地，为企业创新和生产力提升提供强有力的支持。