根据上文我们实现的简版GPT,在足够数据、足够算力的前提下,理论上是可以训练出类GPT3的大语言模型的。 但GPT3距离ChatGPT还有很远
【chatGPT】学习笔记17-自己实现一个简版ChatGPT(上)
接下来,我们用三篇文章阐述**如何实现一个简版ChatGPT。** 1.回顾 想实现一个简版ChatGPT,依赖于如下前置知识: 机器学习基本原理
【chatGPT】学习笔记16-Transformer架构,大语言模型的关键部件5
在《AI拾遗》这个专栏中,我们建立了从N-Gram到词嵌入再到神经概率语言模型,从Seq2Seq到注意力机制的知识脉络。 这条脉络本质就是NL
【chatGPT】学习笔记15-LangChain之Chain,对LLM的抽象3
我们继续写点儿偏工程实践的内容——LangChain的核心模块3——Chain。 1.核心模块3:Chain 在《【chatGPT】学习笔记11
【chatGPT】学习笔记14-LangChain之Memory,对LLM的抽象2
我们继续写点儿偏工程实践的内容——LangChain的核心模块2——Chain。 1.核心模块2:Memory 实现一个问答系统,通常需要将历史
【chatGPT】学习笔记13-Transformer之注意力机制,大语言模型的关键部件4
1.问题 在《【chatGPT】学习笔记9-Transformer之Seq2Seq,大语言模型的关键部件3》中,我们实现了Seq2Seq,看到
【chatGPT】学习笔记12-昇腾计算产业发展白皮书解读
本文来解读华为的《昇腾计算产业发展白皮书》,跟踪一下国内AI行业的宏观动态。 1.AI发展趋势和挑战 1.1.AI发展趋势 白皮书首先阐述了AI发
【chatGPT】学习笔记11-LLM应用-垂直领域知识问答系统(基于ChatGLM2)
今天我们再来写一篇关于大语言模型的实战应用——如何开发一个垂直领域的知识问答系统? 1.原理 (1)基于传统技术的实现方案 在没有大语言模型之前,
【chatGPT】学习笔记10-LangChain之Model IO,对LLM的抽象1
最近的专栏都是在拆解大语言模型的内部实现及论文,我们再来写点儿偏工程实践的内容——LangChain。 1.LangChain简介 (1)如何实
【chatGPT】学习笔记9-Transformer之Seq2Seq,大语言模型的关键部件3
1.Seq2Seq,Transformer的雏形 1.1.为什么会出现Seq2Seq? 在神经概率语言模型NPLM出现后的很长一段时间,都是在这