比BERT-BASE小4.3倍,快5.5倍 ! MobileBERT将开源

最近，自然语言处理（NLP）通过使用具有数亿个参数的大型预训练模型而获得了巨大的成功。

然而，作为NLP中最大的模型之一，BERT模型体积大，延迟时间长，资源有A C x 3 ( F t的，即k M l h T G f h g可以通过微调将其普遍应用在各种0 % n t U r u下游NLP任务之上。MobileBERT是BERT-LARGE的精简版，增加了K s }瓶颈结构，并在self-attt H @ention和前馈网络间做了精细的平衡设计。

代码及预训练模型将开源在以下地址：

https://github.com/google-research/google-researk t N # f 1 [ch/mobilebert

为了训练MobileBERT，研究人员使用了自上而s m V x S L下的渐进方案，用专门设计的反向瓶颈BERT-LARGE teacher模型将其中知识传递给MobileBERT。

知识转移的渐进过程分为L个阶段，其中L为层J M ! G x / G的是每一层的feature maps应该尽可能接近于教师的feature maps，即优化的。其中，以学生与教师归一化特征图的均方误差为目标:

其中l为层索引，T为序列长度，N为特征映射大小。增加层间归一化以稳定层间训练损失。

最小化了特征图转换中均值和方差的两个统计差异:

和2代表均值和方差。实验表明，在BERT { s ] S R / B中去除层标准S # x化以减少推理延迟时，最小化统计差异是有帮助的。

ATTENTIONS ^ L G N Y S TRANSFER (AT)

BERT中的注意分布可以检测出词语之间合理的语义和句法关系。

这激发了研究者使用来自优化过的教师的“自我注意maps”来帮助训练学生在增强到g 4 t S“feature map transfer”的过程中。特别是，我们最{ ) V 8 M 1 t .小化了教师和学生的pre-head的（head平均的）注意力分布的kl-散度:

A是attention heads的数目。

研究表明，M1 a , d 1 C ) eobileBERT比BERT_BASE小4.3倍，的结果。在GLUE的自然语言$ 7 9 ) 9推理任务上，MobileBERT的GLUEscore达到77.7（比BERT_BASE低0.6），在PixeT 5 1 C Z 9 m u El 4手机上的延迟为62毫秒。在SQuAD v1.1 / v2.0问题解答任务上，MobileBERT的dev F1得分为90.0 / 79.2r + f h D )（比BERT_BASE高1.5 / 2.1）。

论文链接：

https://arxiv.org/pdf/2004.02984.pdf