AI 开发近年相当快速,OpenAI 调查后,最近表示将追蹤机器学习模型的效率,并公布演算法发展研究报告,让业界更了解情况。
OpenAI 的研究报告表示,近年演算法效率改善远远超过摩尔定律,自从 2012 年以来,当训练 AI 模型进行 ImageNet 图像分类基準测试时,需要的算力每 16 个月就会减半,因此与 2012 年 AlexNet 相比,现在的神经网路要达到同样运算只需四十四分之一算力。OpenAI 表示,演算法进步是推动 AI 发展的重要因素,而他们目标是要找到更清楚说明演算法演进过程的方式,衡量 AI 模型效率。
OpenAI 表示,测量演算法效率提升的趋势可让整个进程量化,进一步推动产业发展。他们会公开测试目前最先进的 AI 模型效率,除了 ImageNet 和 WMT14 测试,也鼓励学术界和业界提交更多测量结果。他们表示,目前结果显示随着 AI 研发,研究人员投入更多时间和计算能力,演算法演进效率可能会超过硬体效率。
- OpenAI begins publicly tracking AI model efficiency