Bet365 - Online Sports Betting推理怎么又快又稳？且看我FastBERT

2025-06-04 02:37:33

　　Bet365 - Online Sports Betting(访问: hash.cyou 领取999USDT）

　　预训练和微调阶段都只更新主干参数，蒸馏阶段固定住主干参数，用 student classifier 蒸馏主干中 teacher classifier 的概率分布。由于在这个阶段仅仅需要 teacher classifier 的输出，那么可以自由地使用数量无限的未标记数据，而无需局限于有标记的数据。这意味着只要 teacher classifier 允许，总是可以提升 student classifier，以尽可能的拟合 teacher。此外，以前的蒸馏方法是用两个模型去做，一个模型学习另一个模型的知识，而 FastBERT 的自蒸馏与之不同，因为 teacher 和 student 在同一个模型。此所谓“自蒸馏”便是这个意思，自己(分支)蒸馏自己(主干)的知识。

　　分析 FLOPs： 所谓的 FLOPs(floating point operations)是指每秒所执行的浮点运算次数，可以用来衡量模型计算复杂度。FLOPs 与模型的运行环境(CPU、GPU 或 TPU)无关，反映模型计算的复杂性。一般来说，模型的 FLOPs 越大，推理时间就会越长。在同样的精度下，更低 FLOPs 的模型效率更高，更适合生产环境。Table 1 中列出了 Transformer 和分类器这两种结构的 FLOPs，从中可以看出，分类器的计算负荷(FLOPs)要比 Transformer 轻得多。这是 FastBERT 加速的基础，虽然它增加了额外的分类器，但减少 Transformer 的计算量来实现加速。

【返回列表】