大模型 LangChain 框架技术架构和关键技术深度剖析
▼最近直播超级多,预约保你有收获近期直播:《大模型 LangChain 框架技术架构和关键技术深度剖析》—1—LangChain 是什么?LangChian 是将 LLM 大模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起,进而可以自由构建 LLM 应用(AI Agents)的开发框架。总体来讲,LangChain 是 AI 智能时代基于 LLM 大模型的开发框架。第一、它是.
▼最近直播超级多,预约保你有收获
近期直播:《大模型 LangChain 框架技术架构和关键技术深度剖析》
—1—
LangChain 是什么?
LangChian 是将 LLM 大模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起,进而可以自由构建 LLM 应用(AI Agents)的开发框架。
总体来讲,LangChain 是 AI 智能时代基于 LLM 大模型的开发框架。
第一、它是上下文相关的,为 LLM 应用程序开发的整体生命周期提供全流程的框架支持。
第二、使用 LLM 大模型的推理能力为 LangChain 开发的 LLM 应用程序提供规划能力(Planning)。
第三、LangChain 围绕开发 LLM 应用程序的整体流程提供 Model I/O(Prompt 输入、Embedding 向量化、LLM 大模型适配以及大模型回答适配等)、Retriieval(数据源加载、转换、向量化、存入向量数据库、检索以及向量相识度计算等)、Chains(用于完成特定更高级别任务的组件组装)、Memory(短期记忆、长期记忆)、Agents(LLM APP)、Callbacks(提供向外部回调的功能)。
第四、LangChain 框架的顶层架构设计如下图所示。
— 2 —
LangChain、LLM、AI Agents 区别和联系?
AI 智能时代新的应用程序形态是 AI Agent,三者的区别和联系有以下四点:
第一、AI 智能时代新应用程序形态是 AI Agents。
第二、LangChain 是 AI Agents 的一种应用开发框架。
第三、LLM 大模型给 AI Agents 提供推理支持。
第四、LangChain + LLM 大模型 + 向量数据库构建 AI 智能时代新的应用形态 AI Agents。
如上图所示,除了以上的4点区别和联系,还需要补充以下几点:
第五、Fine-tuning (微调)是为了增强 LLM 大模型的综合能力(理解、生成、逻辑、记忆)。
第六、Vector Database(向量数据库)为 AI Agents 提供数据存储介质。
第七、AI Agents 通过 LLMOps 实现自动运维和智能服务治理。
第八、大模型算力层(比如:NVIDIA A100)提供基础设施算力支持。
—3—
基于 LnagChain 的 LLM 应用程序架构设计
第一、基于 LangChain 使用检索增强(RAG)构建聊天机器人
在电商业务中,我们有一个任务是创建一个基于 ChatGPT 的聊天机器人,可以与用户聊天并提供相关咨询。
具体来说,用户的咨询将被转换为嵌入式向量并保存在一个向量存储中:例如如果用户询问「商品信息」,查询会被转换为嵌入式向量,然后执行近似最近邻搜索以找到与嵌入式查询相似商品信息,然后将其作为附加上下文提供给 ChatGPT,再由 ChatGPT 显示给用户。这种方法通常被称为检索增强生成(Retrieval Augmented Generation)。使用检索增强生成的聊天机器人的架构设计如下:
第二、还有众多的企业级使用场景,比如:构建本地知识库问答机器人等。
—4—
免费超干货大模型 LangChain 应用开发实战直播
为了帮助同学们掌握好 LangChain 的技术架构和应用案例实战,今晚8点,我和陈东老师会开一场直播和同学们深度聊聊 LangChain 技术架构剖析、LangChain 的应用案例实战,请同学点击下方按钮预约直播,咱们今晚8点不见不散哦~~
近期直播:《大模型 LangChain 框架技术架构和关键技术深度剖析》
END
更多推荐
所有评论(0)