一文说清ChatGPT分析的技术架构

一文说清 ChatGPT 分析的技术架构

一句话概括：ChatGPT 的底层是仅由解码器构成的 Transformer 自回归大语言模型。它的核心创新不在于网络结构，而是预训练、有监督微调、人类反馈强化学习三段式对齐流程，再搭配完整的推理工程、安全校验和 API 服务体系，组合成最终面向用户的对话产品。

一、底层核心：GPT 基座模型，纯 Decoder Transformer

GPT 全称生成式预训练 Transformer。原始 Transformer 包含编码器和解码器两部分，GPT 系列只保留解码器，属于自回归模型。生成文本时，每次只预测下一个子词 token，生成后的 token 会放回输入序列，循环迭代直到生成结束标记。

多层解码器堆叠，每一层内部组件依次如下。第一，词嵌入与位置编码。文本先经过分词器切分成 token，转化为高维向量。Transformer 本身没有时序感知能力，位置编码为每个 token 附加位置信息，让模型识别词语先后顺序。第二，掩码多头自注意力。自注意力通过 Q、K、V 三组向量，计算序列内所有 token 之间的关联，捕捉长距离语义关系。掩码会屏蔽还未生成的未来位置 token，避免生成时偷看后续内容。多头就是多组注意力并行运算，从语法、指代、语义等多个维度理解文本。第三，前馈神经网络。独立对每一个 token 向量做非线性变换，提升模型的表达能力。第四，层归一化与残差连接。用来稳定深层网络训练，缓解梯度消失问题，保证超大参数模型可以顺利完成训练。

最后输出层通过线性变换加 softmax，得到下一个 token 的概率分布，再通过采样选出下一个词，循环生成完整文本。

二、模型训练三阶段，RLHF 是 ChatGPT 对话能力的关键

初代 ChatGPT 基于 GPT3.5 基座，在预训练之后，经过 SFT、奖励模型训练、PPO 强化学习三步对齐，让模型学会理解指令、模仿人类对话、拒绝有害请求，整套流程叫做 RLHF，也就是人类反馈强化学习。

阶段一，预训练，搭建基座模型。训练数据是海量无标注文本，包括网页、书籍、百科等。训练目标是无监督的下一个 token 预测。这个阶段模型学会语法、基础事实和基础文本模式，但只能续写文字，不能理解用户指令，回答容易跑偏，不具备对话能力。

阶段二，SFT 有监督微调。人工标注人员制作大量指令和对应高质量回答的成对数据集，用这部分标注数据微调预训练基座。经过 SFT 之后，模型初步学会遵守指令，适配对话格式，从文本续写器转变为问答模型。缺点是人工标注成本高，场景覆盖有限，很多场景回答质量依旧不理想。

阶段三，RLHF 人类反馈强化学习，分为两步。第一步训练奖励模型 RM。同一个用户提问，让 SFT 模型生成多个不同答案，标注人员不对答案进行改写，只对多个回答做优劣排序。利用排序数据训练奖励模型，输入用户提问加模型回答，输出一个代表回答好坏的分数，用来自动评判回答的有用性与安全性。第二步 PPO 近端策略优化。以 SFT 模型作为初始策略，模型生成回答交给奖励模型打分，依靠 PPO 算法更新模型参数。优化目标是最大化奖励分数，同时增加 KL 散度惩罚项，防止模型为了拿高分脱离原始语言分布，出现奖励黑客现象。

RLHF 的核心价值，是减少大规模人工标注成本，让输出贴合人类偏好，提升回答可用性，降低有害内容输出。

三、线上完整产品系统架构

神经网络权重只是模型内核，用户使用的 ChatGPT 是一整套服务系统，分层依次执行。接入网关层，用户网页或客户端请求先到达 API 网关，完成鉴权、限流、负载均衡和请求路由。输入预处理层，分词器做 token 切分，拼接多轮对话历史，管理上下文窗口大小，同时执行输入安全检测，拦截恶意提示词。模型推理集群，大量 GPU 分布式承载模型参数完成推理。核心优化手段是 KV 缓存，缓存历史 token 的 K、V 向量，避免每一步生成都重复计算，大幅提升生成速度。同时依靠温度、top-p 等采样参数，控制输出的随机性。输出安全审核层，模型生成内容之后，再次进行安全过滤，拦截违法、暴力、歧视类内容。结果返回与日志监控层，采用流式传输逐字返回内容，记录对话日志，统计延迟、错误率，用户的反馈数据回流，用于后续模型迭代。

四、常见概念区分

GPT 指的是神经网络模型权重。ChatGPT 是产品，由基座模型、对齐微调、安全层、web 服务共同组成。架构区分，BERT 只用编码器，GPT 只用解码器，不是编码解码共存的结构。 RLHF 没有修改网络结构，只是调整模型训练目标，对齐人类的偏好和价值观。上下文窗口代表单次请求模型能够读取的最大 token 数量，窗口越大，可以记忆更长的对话内容。

五、架构带来的天然局限

自回归逐 token 生成，只能单向读取文本，很难对完整文本做全局统筹推理。基座模型本身没有联网能力，知识存在时间截止点。属于概率生成模型，不是检索式问答，会产生幻觉，编造不存在的事实。能力高度依赖训练数据分布，遇到训练数据之外的问题更容易出错。

六、版本演进补充

GPT4 依旧沿用 Decoder 自回归架构，新增图像输入的多模态能力，扩大上下文窗口，推理能力更强。后续 OpenAI 使用 RLVR 可验证奖励强化学习，在数学、代码这类可以验证对错的任务上提升模型推理效果，不再单纯依靠人工打分。