编者注:本文作者Carlos E. Perez专注于人工直觉系统与深度学习领域的研究,同时担任AI创企Intuition Machine Inc.的创始人。
在深度学习领域,2017年我们所见证的突破势头将在2018年继续高歌猛进。2017年的大量研究成果将被运用到日常软件上。
就像去年一样,我将在本文尽述我对深度学习2018的预测。
1、绝大多数深度学习硬件领域的初创公司将会失败
大量深入学习初创公司将在2018年向市场交作业。由于这些公司尚未准备好与之配套的软件,这些设备将面临几乎是确定的失败命运。这些公司把硬件开发刻在了骨子里。
可惜,在深度学习市场上,软件拥有同样重要的地位。这些公司中很大一部分不擅长软件开发或者不理解软件开发的成本。这些公司也许能开发出很好的硬件,但市场不会亲睐他们。
收缩列阵解决方案应用,世人皆知的低垂果实已被人拾取。在2018我们不会再像2017年得到十倍的硬件性能提升。研究者们会将这些张量核心用在交互和深度学习训练上。
Intel将提出的解决方案会被延期,并且很可能令人失望。报告显示Intel无法在2017年如期交付,没人能知道他们到底什么时候能够交付。他们会拖作业,质量也会很差。
Google会用它的TPU开发进展再次惊艳世人。尽管Google通过把IP授权给其他半导体公司来进入硬件市场。鉴于Google是黄老板家Nvidia的唯一实际竞争者,市场能理解这种Google的选择。
2、元学习会成为新的SGD
2017年涌现出一系列优秀的元学习研究。随着研究群体越来越理解元学习机制,随机梯度下降(SGD)终将让位于这一结合了开发性和探索性搜索模式从而更高效









