1.ChatGLM3更新了什么 (1)模型列表 智谱AI刚刚发布了ChatGLM3,其中ChatGLM3-6B的能力提升如下: 更强大的基础模型:
【chatGPT】学习笔记19-自己实现一个简版ChatGPT(下)
前两篇实现了简版GPT,并对其进行了SFT,我们接下来看ChatGPT整体训练流程的最后一个环节——对齐训练(Alignment Traini
【chatGPT】学习笔记18-自己实现一个简版ChatGPT(中)
根据上文我们实现的简版GPT,在足够数据、足够算力的前提下,理论上是可以训练出类GPT3的大语言模型的。 但GPT3距离ChatGPT还有很远
【chatGPT】学习笔记17-自己实现一个简版ChatGPT(上)
接下来,我们用三篇文章阐述**如何实现一个简版ChatGPT。** 1.回顾 想实现一个简版ChatGPT,依赖于如下前置知识: 机器学习基本原理
【chatGPT】学习笔记16-Transformer架构,大语言模型的关键部件5
在《AI拾遗》这个专栏中,我们建立了从N-Gram到词嵌入再到神经概率语言模型,从Seq2Seq到注意力机制的知识脉络。 这条脉络本质就是NL
【chatGPT】学习笔记15-LangChain之Chain,对LLM的抽象3
我们继续写点儿偏工程实践的内容——LangChain的核心模块3——Chain。 1.核心模块3:Chain 在《【chatGPT】学习笔记11
【chatGPT】学习笔记14-LangChain之Memory,对LLM的抽象2
我们继续写点儿偏工程实践的内容——LangChain的核心模块2——Chain。 1.核心模块2:Memory 实现一个问答系统,通常需要将历史
【chatGPT】学习笔记13-Transformer之注意力机制,大语言模型的关键部件4
1.问题 在《【chatGPT】学习笔记9-Transformer之Seq2Seq,大语言模型的关键部件3》中,我们实现了Seq2Seq,看到
【chatGPT】学习笔记12-昇腾计算产业发展白皮书解读
本文来解读华为的《昇腾计算产业发展白皮书》,跟踪一下国内AI行业的宏观动态。 1.AI发展趋势和挑战 1.1.AI发展趋势 白皮书首先阐述了AI发
【chatGPT】学习笔记11-LLM应用-垂直领域知识问答系统(基于ChatGLM2)
今天我们再来写一篇关于大语言模型的实战应用——如何开发一个垂直领域的知识问答系统? 1.原理 (1)基于传统技术的实现方案 在没有大语言模型之前,