手机浏览器扫描二维码访问
437 傲慢的代价（第1页）
孟繁岐并不是第一次听说DeepSeek的名字，虽然此前DS在大众之中不能说是完全无人知晓，但说它是籍籍无名也不为过。
比起天然拥有海量客户的互联网大厂们推出的AI模型，DS即便免费，但终究天然地在积累用户方面有着巨大的劣势。
孟繁岐此前注意到DS，主要便是因为他们的技术路线与孟繁岐的几个设想相似。
由于在降低技术成本上颇有建树，DS的API价格要低于市场平均水平许多，这使得它慢慢积累了一些技术型的用户。不过这个规模在孟繁岐眼中，还远远上不了桌。
前两个月，DeepSeek已经迭代到了第三代。
逐渐缩小的性能差异并没有引起孟繁岐足够的重视。
而今天，详细的技术报告以及R1版本的发布，才终于让他明白，自己实在是后知后觉。
震撼到孟繁岐的并不是单纯性能上的逼近，而是诸多技术细节透露出的海量信息。
比如，FP8的成功实现。
孟繁岐有些不相信这个事实。
半精度和FP8是他一直在大力推动的事情，而现在，DS反而成为了首个在超大规模模型上证明了FP8训练完全可行的公司。
孟繁岐沉着脸，翻阅着DS的技术报告，他们对框架内部的操作细节并不吝啬。
哪些核心操作做了FP8的量化，在什么步骤应该转回BF16，又在哪里应该使用全精度FP32计算，标注十分详细。
向量层、输出层、MoE门控模块、标准化运算和注意力运算模块进行了精度保留，而前向，激活反向，权重反向则用FP8执行。
针对前向反向采用FP8会带来的许多问题，报告中也知无不言。
在低精度训练框架中，由于FP8格式的指数位较少导致其动态范围受限，经常出现数值溢出和下溢的问题。传统方法是将输入张量的最大绝对值映射到FP8格式的最大可表示值，将输入分布对齐到可表示范围内。然而，这种方法使得低精度训练对激活值中的极端值特别敏感，可能导致量化精度显著下降。
孟繁岐也走到过这一步，部分FP8，部分BF16FP32。仅仅如此是不够的。
DS最终采用的方案是在核心算子内部GEMM操作里引入缩放因子，这同样是孟繁岐曾经考虑过的事情。
但closeai最终没有这样做，因为英伟达显卡的FP8并不直接支持这一功能。
长期居于龙头位置的closeai程序员们并没有选择下苦工用其他的方式实现这一功能，而是选择了与英伟达沟通，以求让英伟达在下代硬件框架中支持细粒度缩放格式。
孟繁岐回忆起那个时候，欲言又止。
这称得上是错误吗？其实也不见得。
因为closeai的建议为英伟达提供了重要参考。
下一代硬件框架中支持该功能无疑是非常正确的决定。
但...没有它真的就做不了吗？很显然，DS回答了这个问题，现有的条件之下，技术并不是无法实现的。
另一件让孟繁岐感到扼腕叹息的事情，是双方在“稀疏”这一概念上的分歧。
在FP8问题上，孟繁岐与DS是一致的。
炮灰表小姐苟命日常 霸总战神之当代侠侣 善男信女 携猫主子勇闯星域 激荡一九九五 银河记事 寡人刘玄德 她似春光明媚 陆总请滚开，别打扰我种地 西游之开局加入聊天群 影视世界里的假道士 丹道龙皇 什么？我体内有一座剑山 我的御兽养成计划 神环啸 年代文女配重生后踹了男主 异界大乱斗之乱的很 我在西游交易万物 改局之谋 一诺千金断绝尘
快穿女配冷静点
她原来是个女配，每次结局都很惨。后来才恍悟，绑定她的野生系统是个智障，不给新手礼包，不给老手礼包，完成任务还没奖励，她决定不干了。系统警告！请好好干活，不然会被抹杀。唐果做梦。系统宿主，求求你，不要再欺负男女主了。唐果不可能。系统大大打算怎么祸害这个世界，求带飞啊。唐果带飞可以，你把那个男人的信息查出来给我。系统嘤嘤嘤好哒！大大，请稍等哦。女强，1v1...
北派盗墓:升棺发财
我见过能吞下小舟的鱼王，数十米的长角大蛇，雨伞大的灵芝。我目睹过数次国术宗师的天人对决，生死之争。十年时间，我亲身经历了许多无法理解的诡异事件。秦始皇陵里，到底有什么？龙，是否存在于世间？世界上，到底有没有妖怪和鬼魂？其实，这个世界比我们看到的要精彩得多。...
我是白月光？财阀老婆不香吗？
关于我是白月光？财阀老婆不香吗？代码狗江浩竟然穿书成了江家大少，这泼天的荣华富贵还没来得及享受，竟然得知自己是个凄惨的反派男二，开篇就被拥有主角光环的男主推下楼梯还恶人先告状！怎么，男主是不知道有监控这东西吗？事实教你做人！你们颠公颠婆自己爱玩儿降智游戏，别带上我！什么女主，谁稀罕？全球首富可是我老婆！比女主有钱！比女主漂亮！比女主有脑子！只要吃上他老婆的软饭，他就是人生赢家了！谁爱颠谁颠去！听管家说，你一个人住着害怕，如果你嫌这里太大，我可以给你换个小点的公寓！不用！不用！这里挺好啊！躺在老婆怀里，真香呐！...
鉴玉师
一个小古玩商鬼使神差的步入修行者的神秘江湖。家世里的隐秘祖辈的争夺与坚守，神秘而恐怖的对手。踏遍万千瑰丽壮阔的秘境身不由己的追寻世世代代坚守的大道！...
崛起于平凡
愿～所有的平凡都能够崛起，走向不平凡。这是一个普通人穿越到异界当神明的故事，这是一个从平凡走向崛起的故事。李良买菜回家，一开家门家变成了皇宫，身前，美丽的一国公主正破涕为笑的看着李良，在看了两秒后直接晕倒，倒向李良...
昭昭天明
本书简介济南府的历城县衙有三大怪。一怪知县是个只知斗鸡走狗的登徒子，天下却没有他破不了的案子。二怪仵作是全家籍没的罪臣之女，刚登基的小皇帝却为她喊冤。三怪捕头是曾经名震江湖的绿林总瓢把子，却偏偏被手无缚鸡之力的知县招了安。用抽丝剥茧的探案技法，用披沙拣金的勘验手段，为生者权，为死者言，搏一个朗朗青天。且看这一文一武一仵作如何齐聚历城县衙，为圣人效死，为百姓立心，始称昭雪衙门。嘉兴妖龙作祟，他们敢查科举路上道士喊冤，他们敢查白莲教的弥勒疑云，他们敢查连海瑞海青天的小妾枉死，他们还敢查！一方惊堂木，镇一寸山河。一柄清风剑，定三尺乾坤。一丸苏合香，洗一方沉冤。昭雪衙门，自当为这朱明天下，讨一个说法。昭昭天明全文免费阅读，如果您喜欢昭昭天明梦驴子最新章节，请分享给您的好友一起来免费阅读。魔蝎小说...