人工智能大模型LLM开源资源汇总（持续更新）
说明
目前是大范围整理阶段，所以存在大量机翻说明，后续会逐渐补充和完善资料，减少机翻并增加说明。
Github上的汇总资源（大部分英文）
awesome-production-machine-learning
此存储库包含一系列精选的优秀开源库，可帮助您部署、监控、版本化、扩展和保护生产机器学习。您可以通过观看此 github 存储库来了解最新信息。此外，我们还提供了一个搜索工具包，可帮助您快速浏览工具链。如下图：
工具包：https://huggingface.co/spaces/zhiminy/Awesome-Production-Machine-Learning-Search
数据处理
data-juicer
Data-Juicer 是一个一站式多模式数据处理系统，可以使数据质量更高、更丰富、更易于LLMs理解。
阿里云人工智能平台（PAI）引用了他们的工作，并将Data-Juicer集成到其数据处理产品中。 PAI是一个AI Native大模型和AIGC工程平台，提供数据集管理、算力管理、模型工具链、模型开发、模型训练、模型部署和AI资产管理。有关数据处理的文档，请参阅： PAI-大型模型的数据处理。
Data-Juicer 正在积极更新和维护。我们将定期增强和添加更多功能、数据配方和数据集。
https://github.com/modelscope/data-juicer
datatrove
通过提供一组与平台无关的可自定义管道处理块，将数据处理从脚本疯狂中解放出来。
https://github.com/huggingface/datatrove
dolma
用于生成和检查 OLMo 预训练数据的数据和工具。
https://github.com/allenai/dolma
NeMo-Curator
用于数据管理的可扩展工具包。
https://github.com/NVIDIA/NeMo-Curator
dataverse
数据宇宙。关于数据、数据科学和数据工程。
https://github.com/UpstageAI/dataverse
EasyInstruct
一个易于使用的 LLM 指令处理框架。
https://github.com/zjunlp/EasyInstruct
data-prep-kit
用于 LLM 应用程序构建器数据准备的开源项目。
https://github.com/IBM/data-prep-kit
dps
多语言数据处理系统。
https://github.com/EleutherAI/dps
LLM 训练/微调
nanoGPT
用于训练/微调中型 GPT 的最简单、最快的存储库。
https://github.com/karpathy/nanoGPT
LLaMA-Factory
用于对 100+ LLM 进行高效微调的 WebUI。
https://github.com/hiyouga/LLaMA-Factory
unsloth
微调Llama 3.2、Mistral、Phi和Gemma LLMs的速度提高2-5倍，同时内存减少80%。
https://github.com/unslothai/unsloth
peft
PEFT： 最先进的参数高效微调。
llama-recipes
用于微调Meta Llama3的脚本，使用可组合的FSDP和PEFT方法覆盖单/多节点GPU。
https://github.com/huggingface/peft
litgpt
20+ 高性能 LLM，具有用于大规模预训练、微调和部署的配方。
https://github.com/Lightning-AI/litgpt
Megatron-LM
正在进行的研究大规模训练变压器模型。
https://github.com/NVIDIA/Megatron-LM
trl
使用强化学习训练 transformer 语言模型。
https://github.com/huggingface/trl
LMFlow
一个用于微调和推理大型基础模型的可扩展工具包。适合所有人的大型模型。
https://github.com/OptimalScale/LMFlow
gpt-neox
基于 Megatron 和 DeepSpeed 库的 GPU 上模型并行自回归转换器的实现。
https://github.com/EleutherAI/gpt-neox
torchtune
用于 LLM 微调的 Native-PyTorch 库。
https://github.com/pytorch/torchtune
xtuner
一个高效、灵活且功能齐全的工具包，用于微调 LLM （InternLM2， Llama3， Phi3， Qwen， Mistral， …）。
https://github.com/InternLM/xtuner
torchtitan
用于大型模型训练的原生 PyTorch 库。
https://github.com/pytorch/torchtitan
nanotron
极简大语言模型 3D 并行训练。
https://github.com/huggingface/nanotron
LLM 服务和推理
ollama
启动并运行 Llama 3.1、Mistral、Gemma 2 和其他大型语言模型。
https://github.com/ollama/ollama
gpt4all
GPT4All：在任何设备上与本地 LLM 聊天
https://github.com/nomic-ai/gpt4all
llama.cpp
C/C++ 中的 LLM 推理
https://github.com/ggerganov/llama.cpp
FastChat
一个用于训练、服务和评估大型语言模型的开放平台。Vicuna 和 Chatbot Arena 的发布存储库。
https://github.com/lm-sys/FastChat
vllm
用于 LLM 的高吞吐量和内存高效推理和服务引擎。
https://github.com/vllm-project/vllm
guidance
用于控制大型语言模型的指导语言。
https://github.com/guidance-ai/guidance
text-generation-inference
大型语言模型 Text Generation Inference
https://github.com/huggingface/text-generation-inference
TensorRT-LLM
TensorRT-LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型 （LLM） 并构建包含最先进优化的 TensorRT 引擎，以在 NVIDIA GPU 上高效执行推理。
https://github.com/NVIDIA/TensorRT-LLM
SGLang
是适用于大型语言模型和视觉语言模型的快速服务框架。
https://github.com/sgl-project/sglang
LMDeploy
是一个用于压缩、部署和提供 LLM 的工具包。
https://github.com/InternLM/lmdeploy
torchchat
在服务器、桌面和移动设备上本地运行.
https://github.com/pytorch/torchchat
RouteLLM
一个用于服务和评估 LLM 路由器的框架 - 在不影响质量的情况下节省 LLM 成本！
https://github.com/lm-sys/RouteLLM
LightLLM
是一个基于 Python 的 LLM（大型语言模型）推理和服务框架，以其轻量级设计、轻松的可扩展性和高速性能而著称。ModelTC
https://github.com/ModelTC/lightllm
LLM 防护/安全
NeMo-GuardrailsNeMo Guardrails
是一个开源工具包，用于轻松地将可编程护栏添加到基于 LLM 的对话系统中。
https://github.com/NVIDIA/NeMo-Guardrails
guardrails
向大型语言模型添加 guardrail。
https://github.com/guardrails-ai/guardrails
PurpleLlama
用于评估和改进 LLM 安全性的工具集。
https://github.com/meta-llama/PurpleLlama
llm-guard
用于 LLM 交互的安全工具包。
https://github.com/protectai/llm-guard
LLM开发和示例文档
openai-cookbook
使用 OpenAI API 的示例和指南。
anthropic-cookbook
一组笔记本/食谱，展示了一些使用 Claude 的有趣且有效的方法。
gemini-cookbook
使用 Gemini API 的示例和指南。
Phi-3CookBook
这是一本用于 Phi-3 入门的 Phi-3 书籍。Phi-3 是 Microsoft 开发的一系列开放式 AI 模型。
amazon-bedrock-workshop
这是专为 Amazon Bedrock（一种基础模型服务）设计的研讨会。
mistral-cookbook
Mistral Cookbook 包含由 Mistralers 和我们的社区以及我们的合作伙伴提供的示例。
gemma-cookbook
来自 Google 的 Gemma 开放模型的指南和示例集合。
amazon-bedrock-samples
此存储库包含供客户开始使用 Amazon Bedrock 服务的示例。这包含所有可用基础模型的示例
cohere-notebooks
适用于 Cohere 平台的代码示例和 Jupyter 笔记本Cohere
upstage-cookbook
Upstage API 示例和指南
课程
generative-ai-for-beginners
18 节课，开始使用生成式 AI 进行构建Microsoft LLM课程，通过路线图和 Colab 笔记本进入大型语言模型 （LLM）。
https://github.com/microsoft/generative-ai-for-beginners
llm-zoomcampLLM
关于构建问答系统的免费在线课程DataTalksClub
https://github.com/DataTalksClub/llm-zoomcamp
llm-twin-course
免费学习如何使用LLMOps最佳实践构建端到端的生产就绪LLM和RAG系统：~源代码+12个实践课程
https://github.com/decodingml/llm-twin-course
LLM 基准测试
SWE-benchSWE-bench
是一个基准测试，用于评估从 GitHub 收集的真实世界软件问题上的大型语言模型。
MMAU （axlearn）
大规模多任务代理理解 （MMAU） 基准测试旨在评估大型语言模型 （LLM） 作为代理在各种任务中的性能。
mle-benchMLE-bench
是衡量 AI 代理在机器学习工程中表现的基准
WindowsAgentArena（WAA）
是一个可扩展的操作系统平台，用于多模态 AI 代理的测试和基准测试。Microsoft
DevAI （agent-as-a-judge）DevAI，一个由 55 个现实的 AI 开发任务和 365 个分层用户需求组成的基准测试。
natural-planNatural Plan
是自然语言中现实的规划基准，包含 3 项关键任务：旅行计划、会议计划和日历安排。
RAG增强检索
AutoGPT AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
langchain (LangChain) Build context-aware reasoning applications
dify (LangGenius) Dify is an open-source LLM app development platform. Dify’s intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.
MetaGPT The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming
llama_index (LlamaIndex) LlamaIndex is a data framework for your LLM applications
AutoGen (Microsoft) A programming framework for agentic AI
Flowise (FlowiseAI) Drag & drop UI to build your customized LLM flow
mem0 (Mem0) The memory layer for Personalized AI
RAGFlow (InfiniFlow) RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.
crewAI (crewAI) Framework for orchestrating role-playing, autonomous AI agents. By fostering collaborative intelligence, CrewAI empowers agents to work together seamlessly, tackling complex tasks.
GraphRAG (Microsoft) A modular graph-based Retrieval-Augmented Generation (RAG) system
haystack (Deepset) LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data.
swarm (OpenAI) Educational framework exploring ergonomic, lightweight multi-agent orchestration. Managed by OpenAI Solution team.
Letta (Letta) Letta (fka MemGPT) is a framework for creating stateful LLM services.
llmware (LLMware.ai) Unified framework for building enterprise RAG pipelines with small, specialized models
TaskingAI (TaskingAI) The open source platform for AI-native application development.
AgentScope (ModelScope) Start building LLM-empowered multi-agent applications in an easier way.
pathway (Pathway) Python ETL framework for stream processing, real-time analytics, LLM pipelines, and RAG.
llama-stack (Meta) Model components of the Llama Stack APIs
- llama-stack-apps (
Meta) Agentic components of the Llama Stack APIs
Qwen-Agent (QwenLM) Agent framework and applications built upon Qwen>=2.0, featuring Function Calling, Code Interpreter, RAG, and Chrome extension.
Langroid (Langroid) Harness LLMs with Multi-Agent Programming
AutoRAG (Markr Inc.) AutoML tool for RAG
AgentOps (AgentOps-AI) Python SDK for AI agent monitoring, LLM cost tracking, benchmarking, and more. Integrates with most LLMs and agent frameworks like CrewAI, Langchain, and Autogen
Lagent (InternLM) A lightweight framework for building LLM-based agents