起源：DeepTech深科技“他们说我是魔、是妖、是异数。可谁见过，莲花在淤泥里，怎样长出本人的外形。”“我割开血肉，剔出龙筋，还给东海一个平静。却还不清，这具身材的债。”“乾坤圈在手段上，长成另一道年轮。风火轮碾过陈塘关的傍晚，碾碎每一块试图界说我的石碑。”这是笔者让 DeepSeek 依据以后热点片子《哪吒之魔童闹海》为哪吒写的一首诗的节选。（起源：DeepSeek）游览博主“福瑞环宇”用 DeepSeek 写了一首对于使徒保罗的诗，写完之后这位博主感叹道：“写出来一看几乎要去地上找下巴。它居然能把特洛伊跟特罗亚辨别得那么明白，也艺术性地写出了特罗亚的地位、保罗在特罗亚产生的两件主要的事，还给人浮现了一个全然摆上的保罗，最后一句‘一粒麦子埋入欧洲的年龄’更是冷艳又深厚到变本加厉。”经由过程后练习阶段两个步调协同实现富丽作风现实上，DeepSeek 不只会写诗，其走心的答复作风曾经让不罕用户直呼“戳核心窝”。毫无疑难，DeepSeek 富丽抒怀走心的文风展示了 AI 暖和的一面。那么，是什么技巧促进了如许的作风？上海交通年夜学副教学赵波表现，经由过程一些试用能够发明，DeepSeek 重要包括八种脚色设定：片子脚色、消息掌管、汗青人物、动周游戏、文学脚色、职业脚色、搞笑脚色跟科幻脚色。每种脚色年夜类又分辨包括其范例中的经典人物。DeepSeek 能够依照用户请求，模拟特定脚色的言语或行文作风与用户交互。这一才能起源天然是练习数据，这须要 DeepSeek 的开辟者针对丰盛的脚色/作风/场景，网络对应的多轮对话跟指令追随数据来练习模子。而这些数据的起源可能是原始材料数据、人工标注数据、模子分解数据等。美国耶鲁年夜学助理教学杨卓然从微不雅角度给出了一些解读。他表现依据 DeepSeek‑V3 技巧讲演，DeepSeek 的富丽文风重要是经由过程后练习阶段的两个步调协同实现的。第一个步调是监视微调（SFT，Supervised Fine-Tuning）。在监视微调阶段，模子打仗到了大批高品质的言语表白示例，尤其是针对创意写作等非推理义务的数据。杨卓然表现，详细来说对创意写作义务，初始答复由 DeepSeek‑V2.5 天生，随后经由人工考核来确保内容的正确性跟作风的分歧性。恰是在这局部数据中，模子进修到了大批言语表白精美、用词讲求的示例，这为它后续天生富丽文风奠基了基本。第二个步调是强化进修（RL，Reinforcement Learning）。在强化进修阶段，模子应用嘉奖机制进一步优化天生成果。对诸如创意写作如许的开放式义务，嘉奖模子会对天生的答复停止评分，不只请求谜底正确，还激励模子在说话、句式跟逻辑上表示得愈加精巧、富有文采。嘉奖模子基于监视微调阶段失掉的 DeepSeek‑V3 checkpoints 停止练习，并经由过程低温采样跟多步优化，使模子在天生时逐渐融会优美的修辞跟精致的表白方法。北京邮电年夜学副教学白婷则综合 DeepSeek 的多款模子，从微观角度给出了一些解读。她表现，DeepSeek 曾在技巧讲演里提到一些要害技巧：比方 DeepSeek-V2 应用了 Multi-Head Latent Attention 跟 Sparse MoE 架构，此中 Multi-Head Latent Attention 是为了进步模子效力，MoE 架构则能经由过程应用多专家才能来进步模子才能。DeepSeek-V3 把多专家架构参加帮助函数停止负载平衡的优化，同时也参加了强化进修停止加强。DeepSeek-R1 版本则是处理模子推理才能，它直接应用强化进修去领导头脑链的天生，并经由过程常识蒸馏付与小模子以更年夜的才能。白婷指出，DeepSeek 所采取的技巧并非首创，此前学界跟业界曾经开端应用这些技巧，乃至一些团队的某些单项技巧上做得比 DeepSeek 还要更好。“为什么 DeepSeek 能获得如斯的胜利跟存眷度？我想此中包括了很多年夜模子研讨者都可望弗成及的两点：大批算力资本跟大批高品质的练习数据以及合适的练习战略。”她表现。算力无需多言，有气力的至公司在这方面基础并驾齐驱。而富丽的文风或许说是 DeepSeek 的复兴较其余模子更“像人”，则是由于遭到了上述要害技巧手腕的影响，但更为要害中心因素则是高品质练习数据、练习战略跟大批迭代优化的成果。数据即模子：数据品质动员模子机能2024 年 3 月，DeepSeek 公司的研讨员陈德里曾在一场业界年夜会上宣布过题为《跟而差别：年夜言语模子代价不雅对齐解耦化》的报告，报告中他提到：“在现实模子出产进程中，咱们会停止模子的迭代式开辟；即每轮的练习停止之后，都市有一个自力的测试团队，对模子在上述各个维度上的保险性停止充足的测试，并给出反应看法来领导停止下一个周期的数据迭代跟模子练习。”由此可见，DeepSeek 在模子数据方面必定有独到之处。（起源：https://maimai.cn/article/detail?fid=1826052238 efid=WRuDmSQ74-wciyw4PYW5Qw）杨卓然指出，数据品质对模子练习至关主要，不只影响模子获取跟表白常识的才能，还决议了模子天生内容的作风跟正确性。其一，高品质数据能够晋升模子表白跟推理才能。优质数据包括正确、连接且富有表示力的言语样本。比方，包括链式思考（COT，Chain of Thought）数据能够领导模子在推理时停止反思，进而在天生答复时展示出清楚的逻辑跟精美的言语表白。这恰是模子可能天生既正确又存在富丽文风的要害要素之一。其二，高品质数据能够下降乐音跟确保分歧性。数据中的过错、乐音或纷歧致信息会招致模子天生内容呈现语法或逻辑成绩。高品质的数据则能无效增加这些成绩，使模子更好地进修到言语法则，从而进步团体天生品质。其三，高品质数据能够晋升泛化才能。数据的多样性跟片面性使得模子在面临差别范畴跟义务时都能天生高品质的答复。丰盛且正确的样本辅助模子在多种场景下自若切换作风，无论是精粹的技巧解答仍是文采斐然的创意写作，都能熟能生巧。其四，只要大批高品质数据就能明显进步模子才能。近来一些论文比方《s1: Simple test-time scaling》跟《LIMO: Less is More for Reasoning》也夸大，数据品质极为要害。即使只有大批高品质的数据，也能明显晋升模子的才能，由于高品质数据中包含的信息更为正确跟代表性，为模子供给了高效的进修旌旗灯号。“这种‘精粹’数据不只辅助模子在推理跟天生上到达更高水准，还能更快收敛以及下降练习本钱。”杨卓然表现。白婷也认同上述观念。她表现：“以咱们开辟的百家智能体年夜模子（baijia.online）为例，咱们在阿里 Qwen-7B 上的微调后的成果反超 DeepSeek-2.5-238B。”当经由过程网络大批低资本、疏散的汗青语料，以此来结构练习数据跟练习战略，此时模子基座的才能强弱就不再是获得决胜性要素的要害。也就是说，高品质练习数据的应用可能年夜年夜加强年夜模子在某一目的义务上的才能。现实上，DeepSeek 也有脚色表演的才能，比方它能很好地表演李白。然而，对低资本的人物，其后果就比拟个别，以是数据品质跟练习战略是其背地的两年夜起因。“比方咱们开辟的百家智能体年夜模子就采取了 RLAIF 的方法将高资本脚色丰盛的朝代、配景等信息迁徙协同低资本人物的结构。”她说。DeepSeek 的复兴比其余模子更具某种作风，比方愈加活跃、愈加谨严等，这实在反应在工程师对对话数据的结构跟提醒方法上。而对模子天生内容品质的影响，一种是将全部数据都经由过程预练习方法内化到模子外部，一种是经由过程检索的方法将愈加精准的常识召回。前者的泛化性很强，然而轻易呈现幻觉，究竟宏大的常识会招致凌乱，不克不及专而高深。然后者则是一种人机协同的方法，检索的内容能够是人类构建的带有必定可托度的网页内容、史料等，使得年夜模子复兴愈加可托。赵波也表现，数据品质对模子练习起到决议性感化。能够说数据即模子，有多高品质的数据就能够失掉多强盛的模子。跟着练习数据的一直网络，年夜模子研讨团队对数据的存眷逐步从数据范围转移到数据品质。大批实例证实：小范围高品质数据可能练习失掉比年夜范围低品质数据更好的模子，而且练习本钱更低。赵波举例称，2023 年微软的 Phi-2 模子应用“教科书品质”的练习数据实现了小模子高机能。别的，分解数据也已成为年夜模子练习数据的主要起源，经由过程分解能够低本钱地取得大批高品质数据。现在，主流年夜模子的练习都应用了大批的分解数据。赵波跟团队也于 2023 年 7 月推出过针对多模态年夜模子练习的百万级高品质分解数据集 SVIT 等。序幕白婷弥补称，无论是 AGI 仍是 Agent, 其实质上都是模仿并超出人类这一现在最高级的智能体。从 DeepSeek 的计划下去看，不论是晚期 DeepSeek-V2 版本中多专家 MoE 的群体决议，仍是 DeepSeek-R1 版本中头脑链的推理才能，常识蒸馏的进修才能的增强，都能很符合地对应到人类做出决议时的反映跟采用的行动。然而，只有这些才能是远远不敷的，更高效强盛的影象体系、共情才能、反思退化才能、特性化才能，都是前期年夜模子开展、超出、效劳人类时须要具有的才能。在此，也等待 DeepSeek 带来更冷艳的表示。参考材料：https://mp.weixin.qq.com/s/QlJLnbPbb8weY-lqLYoOCghttps://chat.deepseek.com/sign_inhttps://mp.weixin.qq.com/s/h3b8l45ZMOkMM4hxhvzUxAhttps://maimai.cn/article/detail?fid=1826052238 efid=WRuDmSQ74-wciyw4PYW5Qw排版：初嘉实