NotesGPT：开源 AI 语音笔记工具，实现自动多语言转录、总结和任务生成
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- NotesGPT 是一款 AI 驱动的语音笔记工具，能将语音实时转录为文本并生成行动项。
- 支持多语言转录、自动总结和快速搜索，适用于会议记录、个人备忘等多种场景。
- 基于 Convex、Next.js、Together 推理模型和 Replicate 的 Whisper 等技术，确保高效准确。
正文（附运行示例）
NotesGPT 是什么
NotesGPT 是一款开源的 AI 驱动的语音笔记工具。它能将用户的语音笔记快速转录成文本，并自动生成行动项。这个工具基于多种先进技术，包括 Convex 数据库、Next.js 框架、Together 推理模型和 Replicate 的 Whisper 转录服务，确保转录的准确性和生成任务的效率。
用户只需录制语音，NotesGPT 就会自动处理，提供总结和待办任务，极大地提升了记录和任务管理的便捷性。它还支持多语言转录，数据通过云端存储实现同步，适用于会议记录、日常备忘、学术研究和项目管理等多种场景。
NotesGPT 的主要功能
- 语音转录：将用户的语音输入实时转换成文本。
- 自动总结：基于转录的文本，自动生成笔记的总结。
- 任务生成：从总结中提取关键信息，生成具体的行动项。
- 快速搜索：支持用户用嵌入向量搜索快速找到笔记中的关键信息。
- 多语言支持：支持多种语言的语音转录。
NotesGPT 的技术原理
- 语音识别技术：使用 Replicate 的 Whisper 模型将语音转换为文本。
- 自然语言处理（NLP）：利用 NLP 技术解析文本内容，提取关键信息。
- 大语言模型（LLM）：基于 Together 的推理模型 Mixtral 进行语言理解，生成总结和行动项。
- 向量搜索技术：通过 Together Embeddings 和 Convex Vector search 进行高效的信息检索。
- 数据库和云函数：使用 Convex 数据库和云函数进行数据存储和处理。
如何运行 NotesGPT
- 安装依赖：
npm install
- 启动开发环境：
npm run dev
这将提示你登录Convex并创建一个项目。
- 配置 Clerk 认证：
- 创建一个Clerk账户。
- 复制
CLERK_SECRET_KEY和NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY到.env.local文件。 - 按照 Convex 文档中的步骤获取 Issuer URL，并添加到 Convex 环境变量中。
- 配置 Together 和 Replicate API 密钥：
- 创建Together和Replicate账户，获取 API 密钥。
- 将这些密钥保存为 Convex 环境变量
REPLICATE_API_KEY和TOGETHER_API_KEY。
资源
- 项目官网：usenotesgpt.com
- GitHub 仓库：https://github.com/nutlope/notesgpt
- Convex 官网：https://convex.dev
- Next.js 官网：https://nextjs.org
- Together 官网：https://dub.sh/together-ai
- Replicate 官网：https://replicate.com
- Clerk 官网：https://clerk.dev
- Tailwind CSS 官网：https://tailwindcss.com
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦