手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
我的御兽养成计划 银河记事 改局之谋 神环啸 丹道龙皇 霸总战神之当代侠侣 影视世界里的假道士 善男信女 我在西游交易万物 寡人刘玄德 激荡一九九五 炮灰表小姐苟命日常 陆总请滚开，别打扰我种地 什么？我体内有一座剑山 异界大乱斗之乱的很 一诺千金断绝尘 她似春光明媚 年代文女配重生后踹了男主 携猫主子勇闯星域 西游之开局加入聊天群
位面空间我带着交易系统穿越了
作为国家秘密武器的夜莺，在执行完任务回来时，被K2的成员报复，跌落悬崖致死后，灵魂穿越到一个历史上从没出现过的容耀王朝东陵国镇国大将军嫡女孟可欣身上，且看这从小就练习古武，中西医圣手的孟可欣，如何帮助亡国重生的皇子重建家园，让容耀王朝重现辉煌。...
燃爆中年困境大叔被美女热列倒追
人到中年，一旦失业，那对于有家庭的人来说，简直就是一场灾难，男人更是苦不堪言。可这还不算完，倒霉事儿就像约好了似的一个接着一个。屋漏偏逢连夜雨，船破又遇顶头风，结婚十年的妻子竟然在这个时候提出离婚。曾经的山盟海誓海枯石烂，如今都成了过眼云烟。都说男人有泪不轻弹，那是没被逼到绝路上啊！这位中年大叔，在走投无路的绝境...
废柴王爷不经撩
关于废柴王爷不经撩［双魂重生权谋双强复仇狠辣剑客×疯批杀手全员恶人甜宠家国情怀］她，将军之女，嚣张洒脱桀骜不羁，却被亲人算计江湖逃亡，助未婚夫夺得天下时却被他联合生父困杀死阵法，落得个家破人亡，尸骨无存的下场他，天潢贵胄，当世英才，纵横捭阖精谋细算为国开疆拓土，却遭生父忌惮受奸人挑拨沦为任人欺辱宰割的质子，几经挣扎，终堕入地狱深渊。一朝重生，他们重逢于对立，相爱于乱世，偌大的天下，为寻方寸净土，携手复仇，运筹帷幄，玩弄权术颠覆天下反帝称王。此后，人阻杀人神挡诛神，这天下归我们了！...
神龙大陆，这个世界我熟
关于神龙大陆，这个世界我熟蓝星历3000年，一个巨大的黑色裂缝降临蓝星天空，为了探索黑洞出现的原因，蓝星各国纷纷派出代表进入黑洞之中，但是所有人如石沉大海一般，杳无音讯。只到一年后，林长青带着两个婴儿从黑洞中回到蓝星，大家才知道黑洞中有一片奇怪的世界。但是它为什么出现在这里，谁也不知道，只到18年后，成年的陈默进入这片神龙大陆，看着熟悉的边界村，村外悠闲吃草的梅花鹿，走来走去的稻草人，怎么这个世界这么熟悉。...
重生七零双系统在手替嫁退伍糙汉
关于重生七零双系统在手替嫁退伍糙汉冷清欢原本是24世纪的一名翻译官，在家休假时，不小心摔下楼梯。再次醒来她已经成了到平行世界的七零年，同名同姓的冷清欢身上。冷清欢我不是摔下楼梯嘎了吗？这里是哪里？原主姐姐，这里是七零年，上辈子继母为了钱，把我嫁给地痞流氓，继妹冷梨花嫁给退伍军人。最后我成了首富夫人，她成了寡妇我回娘家时，被她嘎了。请你替我报仇，我把上辈子的记忆都留给你冷清欢你不是已经重生了吗？你干嘛不自己报仇？原主我是用我重生的机会，和天道做了交换，让你来到这里，帮我报仇的当然你在那个时代，也是到时间了冷清欢行吧！你走吧！冷清欢发现冷梨花也重生了，因为她竟然抢着要嫁给地痞流氓，而且还说服了继母，让我们交换亲事，冷清欢自然乐得成全。冷梨花哼！冷清欢你就等着成为寡妇吧！你就留在在红星大队，当一辈子的泥腿子吧！冷清欢你先得意吧！宋翊川媳妇你愿意嫁给我，我真的太高兴了，以后我疼你冷清欢路遥知马力，日久见人心她拥有无限签到系统，新手大礼包，送了一个灵泉种植空间，还有一个学习系统，每天督促冷清欢学习。她最后成了拥有各种技能的大佬。...
阿福穿越洗冤录
关于阿福穿越洗冤录第二卷大唐篇更精采敬请期待真相只有一个真実はいつもひとつ心机之蛙一直摸你肚Thereisonlyonetruth得势翁里碗吐...