21书城网

手机浏览器扫描二维码访问

436 新的冲击 deeeek（第2页）

这让一心想要走在算法技术最前沿倍感压力。

虽然以他和老黄以及英伟达的关系，可以通过诸多方式绕开此禁令。

可不论如何，这都称得上是巨大的困扰。

倍感无奈的孟繁岐开始向内寻求算法突破，以期待能够降低自己对显卡设备的需求。

可原本孟繁岐比较看好的两个技术方向，都没有取得预期的成功。

其一，孟繁岐很早就意识到，早期深度学习模型大多依赖于FP32（32位浮点数）的高精度计算，虽然结果准确，但计算量和存储需求巨大。

根据前世的经验，孟繁岐早早就推动了FP16（16位浮点数）训练和推理。

这种格式可以节约一半的计算资源，虽然会稍稍影响模型的性能，但在针对性的优化下几乎可以忽略不计，这也是前世的主流训练模式。

如今，被计算设备所限制的孟繁岐被迫探索准确度更差的FP8（8位浮点数）。

前世的通识是，该模式计算效率极高，但精度损失更大，适用范围非常有限。

往往是在训练完成之后，进行FP8的格式转换，以节约模型的推理使用成本。

直接在训练的时候采用这种格式是从未被证实过的。

为此，黄仁勋甚至在显卡的硬件设计上对FP8提供了一定的优化可支持，但半年的时间过去了，孟繁岐并没有看到自己预期的效果。

另一方面上，孟繁岐同时在寻求“稀疏”

这一概念。

这一条技术路线开启得更早，（见368-369章）。

毕竟他很早就知晓，随着AI技术的发展，两个超级大国之间势必会因为世界地位的争夺而脱钩。

一旦形成对抗，硬件设备无疑将会被限制封锁。

可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。

能做的，唯有投资点钱罢了。

国内的芯片技术，显然不可能跳过几代的制程，直接赶上英伟达。

换句话说，孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达，这才提议了模型“稀疏”

这一概念，以求节省资源。

模型稀疏与神经网络一样，都是对大脑行为的模仿。

从生物角度上说，大脑中的神经元连接并非全连接，而是高度稀疏的。

每个神经元只与少数其他神经元相连，这种稀疏性使得大脑能够在低能耗下高效处理信息。

这给了大脑极高的能量效率，大脑在极低的能耗下完成复杂任务，部分得益于其稀疏的连接方式。

人体的总功耗才70-300w，其中大脑才仅仅只有15-30w。

显卡动辄就300-500w，却完全无法与人脑的能力相比拟。

孟繁岐认为这是对计算资源的极大浪费，也已经取得了一定的成果证明稀疏方向的概念，可以在不怎么影响性能的情况下成倍地减少计算消耗。

但这件事情，却又被硬件的发展大大减缓了。

传统硬件常年来仅仅只针对密集计算优化，难以高效处理稀疏数据。

孟繁岐开发并证明技术的可行性，仅仅只用了两个多月的时间，可想要硬件良好支持，批量生产，不再等个一年，却是不大可能。

正在这AI领域逐渐陷入沉寂，总是只有小修小补的时刻，DeepSeek-R1的发布像是巨石入水，掀起了巨浪。

而令孟繁岐极为懊恼的事情是，DeepSeek取得巨大成功所依赖的技术方向，竟与他本人设想相差无几。