业界目前的AI助手应用集中于两大功能: 基于垂直领域知识的智能问答 基于垂直领域知识的智能行动 在《【chatGPT】学习笔记21-LangCha
【chatGPT】学习笔记21-LangChain之Retrieval,对LLM的抽象4
本专栏通过解读了Transformer模型,实现简版GPT后,帮大家建立了对NLP原理、关键技术的理解。 接下来,我们再关注一下应用层面的技术
【chatGPT】学习笔记20-如何搭建ChatGLM3
1.ChatGLM3更新了什么 (1)模型列表 智谱AI刚刚发布了ChatGLM3,其中ChatGLM3-6B的能力提升如下: 更强大的基础模型:
【chatGPT】学习笔记19-自己实现一个简版ChatGPT(下)
前两篇实现了简版GPT,并对其进行了SFT,我们接下来看ChatGPT整体训练流程的最后一个环节——对齐训练(Alignment Traini
【chatGPT】学习笔记18-自己实现一个简版ChatGPT(中)
根据上文我们实现的简版GPT,在足够数据、足够算力的前提下,理论上是可以训练出类GPT3的大语言模型的。 但GPT3距离ChatGPT还有很远
【chatGPT】学习笔记17-自己实现一个简版ChatGPT(上)
接下来,我们用三篇文章阐述**如何实现一个简版ChatGPT。** 1.回顾 想实现一个简版ChatGPT,依赖于如下前置知识: 机器学习基本原理
【chatGPT】学习笔记16-Transformer架构,大语言模型的关键部件5
在《AI拾遗》这个专栏中,我们建立了从N-Gram到词嵌入再到神经概率语言模型,从Seq2Seq到注意力机制的知识脉络。 这条脉络本质就是NL
【chatGPT】学习笔记15-LangChain之Chain,对LLM的抽象3
我们继续写点儿偏工程实践的内容——LangChain的核心模块3——Chain。 1.核心模块3:Chain 在《【chatGPT】学习笔记11
【chatGPT】学习笔记14-LangChain之Memory,对LLM的抽象2
我们继续写点儿偏工程实践的内容——LangChain的核心模块2——Chain。 1.核心模块2:Memory 实现一个问答系统,通常需要将历史
【chatGPT】学习笔记13-Transformer之注意力机制,大语言模型的关键部件4
1.问题 在《【chatGPT】学习笔记9-Transformer之Seq2Seq,大语言模型的关键部件3》中,我们实现了Seq2Seq,看到