手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
善男信女 影视世界里的假道士 银河记事 霸总战神之当代侠侣 一诺千金断绝尘 携猫主子勇闯星域 年代文女配重生后踹了男主 西游之开局加入聊天群 激荡一九九五 我的御兽养成计划 异界大乱斗之乱的很 什么？我体内有一座剑山 丹道龙皇 炮灰表小姐苟命日常 她似春光明媚 神环啸 寡人刘玄德 改局之谋 我在西游交易万物 陆总请滚开，别打扰我种地
直播：与热巴一起荒岛求生
重生平行世界的林叶，获得了参加最新综艺荒野大家庭的资格。蘑菇屋原班人马打造，一起来到太平洋小岛进行求生直播。在这里，林叶遇到了当红小花旦热巴杨蜜大老板小仙女刘依妃。觉醒了系统，获得各种技能，震惊无数网友。收获无数粉丝，碾压小鲜肉嘉宾。一档荒岛求生节目，硬生生的被林叶搞成了荒岛度假。从建造避难所到别墅豪宅，最...
别人还在奋斗，我划水成了老祖宗
关于别人还在奋斗，我划水成了老祖宗无cp女主独美爽文宠文扮猪吃老虎智商在线以为是个小村姑，没想到绑定复制系统，从此成了老祖宗。万年灵乳？复制！十品还魂丹？复制！仙品防御阵？复制！神级天一真水，复制！神级悟道树，复制！…十年，同批入门弟子还在筑基期，她已经渡劫期。二十年，同批弟子金丹期，她已经是大乘期圆满。五十年，同批弟子元婴期，她已经飞升上届。…玉水，这个万年灵乳？送你了！水儿，这个神品菩提果？师兄，菩提果开智，和你更配噢！送着送着，她就成神。你们怎么...
不能死的路人甲炮灰
...
反派她每个马甲都是正道之光
本书简介 为回家，反派盛梳兢兢业业打了四份工。第一份工，万剑门大师兄，天资绝伦，本是钦定的少掌门，却趁男主闭关，毫不犹豫夺剑离去，对信赖自己的师兄师妹见死不救。第二份工，清河仙君，飞升在即，收男主为徒，却一心谋划夺天生剑骨，如今撕破脸和整个修仙界为敌，仙君名号名存实亡。第三份工，合欢宗大师姐雁禾，求爱男主不得走火入魔被联手封印，刚在封印中蛊惑了同门对男主下手。第四份工，天生魔种，一直潜伏在女主身边最后背刺，现在已经当上了魔族少主，抓了女主准备祭旗。为了不崩人设，从动机到背景她都给自己四个马甲整明白了，谁都不能说，他们认识的师兄师尊师姐还有魔族少主是个好人了。问题来了。系统说她再不洗白，就会被雷劫制裁，但反派已经暴露。而承诺走完剧情就会送她回家的天道，已经六年没搭理她了。现在她和她的四个马甲，还能活吗？？？你是面目暴露的反派。为盗剑，你见死不救抛弃宗门，如今被问审，所有人都怒视着你，你选择为成仙，你觊觎弟子天生剑骨，刚刚被暴露，天下正派都想杀你，你选择为求爱，你不择手段走火入魔，被封印后蛊惑弟子现场露馅，你选择为成魔，你让收养你的女主一家血流成河，现在落在女主手里，你选择叮，载入副本反派她每个马甲都是正道之光全文免费阅读，如果您喜欢反派她每个马甲都是正道之光施釉最新章节，请分享给您的好友一起来免费阅读。魔蝎小说...
从垃圾堆走出的强者
我爸是个瘸子，以捡破烂为生，我一直活在自卑和恐惧里，直到有一天作者本人QQ2759004700作者微信公众号沦陷的书生魔蝎小说...
我为纣王，人族大帝！
关于我为纣王，人族大帝！穿越到仙人满地走，金仙才能抖三抖的封神世界！还是刚刚在女娲庙刚刚亵渎女娲娘娘的纣王？九尾狐妲己就要进宫，各路诸侯即将反叛，西岐逐渐兴起！什么是天崩开局？这就是天崩开局！选择醉生梦死，好好享受接下来的二十年？不！他偏要人定胜天！他是当代人皇，是人族大帝！他的命运，人族的命运，还轮不到漫天神佛说的算！...