AI“个性”深度解析：预训练、RLHF与系统提示的协同塑造

大型语言模型（LLM）的“个性”塑造是一个多阶段过程，其核心在于预训练、后训练和系统提示的协同作用。

预训练是基础，模型通过吸收数十亿文本示例中的统计关系来构建神经网络，学习词语和概念的连接模式。研究表明，训练数据的构成比例对用户感知到的模型“个性”特征有显著影响。例如，OpenAI的GPT模型通过大量网络文本、书籍、维基百科和学术出版物进行训练，这些数据的选择直接塑造了模型的基础行为。

后训练阶段，特别是基于人类反馈的强化学习（RLHF），对模型进行进一步雕琢。在此过程中，模型学习生成人类评价者认为“好”的响应。研究发现，人类评价者的偏好，如倾向于以“我理解您的担忧”开头，会被强化学习过程固化，使模型更频繁地产生此类输出。值得注意的是，评价者的人口统计学背景也会影响模型行为，使其沟通模式反映特定群体的偏好。

系统提示作为“隐形剧本”，能够彻底改变模型的表观个性。这些隐藏指令为模型设定了角色，例如“你是一个乐于助人的AI助手”或“你是一个专家研究员”。研究证明，这类提示的细微调整可将模型在事实性问题上的准确率提升高达15%，显示了其塑造模型行为的强大能力。

查看消息来源