2.69 秒完成 BERT 训练,华为 CANN 5.0 速度展示

2.69 秒完成 BERT 训练,华为 CANN 5.0 速度展示

现在,经典模型 BERT 只需 2.69 秒、ResNet 只需 16 秒。啪的一下,就能完成训练!这是华为全联接 2021 上,针对异构计算架构 CANN 5.0 放出的最新性能“预热”:4K 老电影 AI 修复,原本需要几天时间,现在几小时就能完成;针对不同模型进行智能优化,300 + 模型都能获得 30% 性能收益;支持超大参数模型、超大图片计算,几乎无需手动修改原代码……不同于训练推理框架,异构计算架构在设计时,还需要兼顾硬件和软件的特点。为的就是尽可能提升 AI 模型的计算效率,减少在...