位来 发自 凹非寺
量子位 报道 | 公众号 QbitAI

自从 “Attention is All You Need” 在2017年提出以来，Transformer已成为 NLP 领域中非常热门的深度学习网络架l P 6 A ^ c * q S构。但是在推理部署阶段，其计算性能往往难以满足在线业务对于低延迟和高吞吐的要求。

在英伟达开源的FasterTransformer 1.0版本中，针对BERT中的 Transformer Encodo ` Z l | b 3er进行了优化和加速，经过高度优化之后，降低了用户使用transfY Z Z K f qormer编码的时延。

在解决了? L / N d eEncoder性能问题J n M之后，英伟达将重点放到了同样重要的Transformer Decoder推理上。

因此，英伟达推出了FasterTransformer 2.0版本，提供针对解码器进行高度优化的transformer layer。同时，还提供了优化过后的整个翻译流程，满足想要在翻译场w | 2 X 9 &景中大幅降低时延的用户们。

那么，FasterTransformer 2.0背后的优化原理是什么？如何针对decoder和decoding进行z k X H ( ; 9 2优化？

4月9日，英伟达x量子位将举办一场线上公开课，英@ A m 2 t _ {伟达GPU计算专家8 q 、FasterTransformer 2.0 开发者之一的薛博阳老师将为大家详细讲解，欢迎大家报名，与薛老师一起探讨和交流。

课程安排

主题：FasterTransformer 2.0 的原理与应用

时间：2020年4月9日（周四），20:00-21:30

环节：讲解+问答

课程内容：

• FasterTransformer 2.0 新增加功能介绍
• 如何针对decoder和decoding进行优化
• 如何使用decoder和decoding
• Decoder和decoding能够带来什么样的加速效果

嘉宾介绍

薛博阳，NVIDI+ z 1 : T N Z 4A GPU 计算专家，拥有h 8 u W 3 o Z x ~多年GPU开发经验和深度学习开发经验。曾参与计算机视觉、游戏人工智能等项目开发。FasterTransformer 2.0 开发者之一，目前主要负责 FasterTransformer 2.0 的进一步的优化。

报名方式

点击链接注册（https://info.nvidia.com/3126a L48-reg.html），直播前将给您注册% w +使用的邮箱发送直播链接，后续将发送直播回放、PPT资料。

也欢迎大家加入直播交流群，添加量子位小助手（qbitbot12），并备注“英伟达”即可。

— 完 —

量子位 QbitAI 头条号签约作者

关注我们，第一时间获/ c W知前沿科技动态