第209章 他怎么跑语音领域来了!

重生之AI教父 CloseAI 1416 字 2天前

不管是语言转文本,还是文本转语言,都只是T方法在某一个领域的应用罢了。

不在语音上做,也可以在翻译、问答等诸多领域上去做,做什么任务只是载体。

真正重要的事情,是Transformer这个方法本身,以及这篇论文的写作和理论推导。

提出残差网络再震惊世界,这个模型也仍旧归类在三大类模型的卷积神经网络里面,并没有能够超脱出来。

可T方法,则是直接成为了第四类模型,与循环网络,卷积网络和多层感知机并列,这是开宗立派的一个方法。

该文当时也被评为三年内深度学习领域最重要的一篇文章。

因而论文的写作和证明推理,要比实际的应用项目关键太多。

“原本这篇文章在写作的时候,是针对了机器翻译这样一个小的任务来写的,只是在结尾的时候提到了这种方式可以类似地扩展到图像,视频和语音领域。这次我的格局得打开,在写作的基调和宗旨当中,就要融入和各领域有关的思索和技巧。”

机器翻译说到底只有少数几个公司在关注,只针对它写作会一定程度上影响到文章的影响力。

在这次方法的讨论和论文的写作上,谷歌大脑可以说是倾巢出动了,孟繁岐首次积极地联系了多名同事参与进来,这让大家都觉得相当新奇。

不仅有伊利亚和阿里克斯等人,谷歌大脑的其他同事比如杰卡布,尼克、卢卡斯等人也被拉了进来。

“一个只基于自注意力的新网络结构?”谷歌大脑的团队当中哪有混子,只是稍微一听,就大概明白事情已经大条了。

纷纷非常兴奋地加入了进来。

此技术相当重要,因而代码框架,各种算子孟繁岐从去年底处理推荐广告算法的时候,就已经在陆续实现了。

断断续续到现在,接近半年的时间。

倒不是因为这个方法特别复杂难懂,而是这份代码需要在成百上千张显卡上高度并行运算。

在具体的实现上,每一步的优化都非常关键,要扎扎实实地写好。

作为后来ChatGPT的基石,孟繁岐自然从最初就十分认真地对待。

毕竟若是速度慢了个五成,千张显卡的时间成本可就亏大发了。

“我看你这个T方法,也仍旧是编码器解码器的组合结构,和传统的办法很像啊?”