大语言模型推理源码解读(基于llama3模型:来源github)

文章目录

• 前言
• 一、整体源码解读
• • 1、完整main源码
  • 2、tokenizer加载
  • 3、llama3模型加载
  • 4、llama3测试数据文本加载
  • 5、llama3模型推理模块
  • • 1、模型推理模块的数据处理
    • 2、模型推理模块的model.generate预测
    • 3、模型推理模块的预测结果处理
  • 6、多轮对话
• 二、llama3推理数据处理
• • 1、完整数据处理源码
  • 2、使用prompt方式询问数据加载
  • 3、推理处理数据
• 三、llama3推理generate调用_sample方法
• • 1、GenerationMode.SAMPLE方法源码
  • 2、huggingface的_sample源码
  • 3、_sample的初始化与准备
  • 4、_sample的初始化（attention / hidden states / scores）
  • 5、encoder-decoder模式模型处理
  • 6、保持相应变量内容
  • 7、进入while循环模块
  • 8、结果返回处理
• 四、_sample的while循环模块内容
• • 1、模型输入加工
  • • 1、首次迭代数据加工
    • 2、再次迭代数据加工
  • 2、模型推理
  • • 1、首次迭代数据加工
    • 2、再次迭代数据加工
  • 3、预测结果取值
  • 4、预测logits惩罚处理
  • 5、预测softmax处理
  • 6、预测token选择处理
  • 7、停止条件更新处理
  • 8、再次循环迭代input_ids与attention_mask处理(生成式预测)
  • 8、停止条件再次更新与处理
• 五、模型推理(self)
• • 1、模型预测输入参数
  • 2、进入包装选择调用方法
  • 3、进入forward函数--class LlamaForCausalLM(LlamaPreTrainedModel)
  • 4、llama3推理forward的前提说明
  • 5、llama3推理forward的设置参数
  • 6、llama3推理forward的推理(十分重要)
  • 7、llama3推理forward的的lm_head转换
  • 8、llama3推理forward的结果包装（CausalLMOutputWithPast）
• 六、llama3模型forward的self.model方法
• • 1、模型输入内容
  • • 1、self.model模型初次输入内容
    • 2、self.model模型再次输入内容
  • 2、进入包装选择调用方法
  • 3、进入forward函数--class LlamaModel(LlamaPreTrainedModel)
  • 4、llama3模型forward的源码
  • 5、llama3模型forward的输入准备与embedding
  • • 1、初次输入llama3模型内容
    • 2、再此输入llama3模型内容
    • 3、说明
  • 6、llama3模型forward的cache
  • • 1、DynamicCache.from_legacy_cache(past_key_values)函数
    • 2、cache = cls()类方法
    • • 该类位置
      • 该类方法
    • 2、cache.update的更新
  • 7、llama3模型decoder_layer方法
  • • 1、decoder_layer调用源码
    • 2、decoder_layer源码方法与调用self.self_attn方法
    • 3、self.self_attn源码方法
  • 8、hidden_states的LlamaRMSNorm
  • 9、next_cache保存与输出结果
• 七、llama3模型atten方法
• • 1、模型位置
  • 2、llama3推理模型初始化
  • 3、llama3推理的forward方法
  • 4、llama3模型结构图