谷歌称之为ldquo下一代AI框

MLNLP(机器学习算法与自然语言处理)社区是国内外知名自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流，特别是初学者同学们的进步。

来源

夕小瑶的卖萌屋

作者

Severus

大家好，我是Severus，一个在某厂做语言理解的老程序员。

今年清明节，Google搞了一点小动作，在arxiv上放出了自己的新工作，PaLM[1]（PaLM:ScalingLanguageModelingwithPathways）。这是自去年，JeffDean谈论下一代AI，提出Pathways[2]架构之后，其第一次秀出了自己的成绩。既然秀肌肉的一件工作，我们不必怀疑，其在各大不同的基准任务上，能展现出什么样的非凡能力。论文发出之后，各家大V迅速跟进，各种解读铺天盖地，关于它是什么样子的，它的实现细节，它展现了什么样的效果，已不必赘述。今天，我想要谈一谈，Pathways及其背后的思想，可能会开启什么新的纪元？为什么JeffDean认为它是下一代的AI架构？

1

『缘起：SwitchTransformer』

事情还是要回到去年1月份。彼时以GPT-3为首，预训练语言模型界刮起了大模型之风。当然，这股风浪到现在也没有过去，千亿级别的大模型，仍然是你方唱罢我登场。而在那个时候，Google一篇SwitchTransformers[3]引起了我的注意。说来惭愧，当时我注意到这篇工作，还是因为某

转载请注明：http://www.0431gb208.com/sjslczl/684.html