摘要
关键词
- 物理神经网络 (Physical neural networks, PNNs)
- 反向传播 (Backpropagation)
- 物理感知训练 (Physics-aware training, PAT)
- 深度学习加速器 (Deep learning accelerators)
- 光学非线性 (Nonlinear optics)
- 图像分类 (Image classification)
研究背景
随着深度学习模型在科学与工程领域的广泛应用,其快速增长的计算需求已经超越摩尔定律的提升,能源效率成为主要瓶颈。传统深度学习加速器主要依赖于硬件物理过程和数学运算的直接同构,但这种方法通常局限于推理阶段,难以直接应用反向传播算法训练硬件。为了突破这一局限,本文提出了一种新型物理神经网络(PNNs)方法,通过可控物理系统实现深度学习计算,并引入混合的物理感知训练策略,将物理系统训练与数字模拟相结合。这一框架为机器学习能效和速度的提升提供了全新思路,同时开辟了物理系统功能化设计的广阔前景。
创新点
- 提出混合物理感知训练算法(PAT),实现对物理神经网络的反向传播训练。
- 将光学、机械和电子系统用于物理神经网络,展示其通用性和多样性。
- 在图像和音频分类中实现高精度的物理计算,显著提高能效和计算速度。
- 将PNNs与传统数字硬件集成,构建混合物理–数字架构,实现资源的高效分配。
研究内容
本研究提出并验证了一种新型的物理感知训练(PAT)算法,能够在物理神经网络中直接应用反向传播训练。PNNs由物理层组成,每一层执行可控的物理变换,而无需与传统深度学习层的数学操作同构。实验部分涵盖三种物理系统:多模机械振荡、非线性电子振荡以及超快光学二次谐波生成(SHG),分别用于图像和音频分类任务。通过PAT,这些系统被成功训练以执行深度学习计算,在测试集上的分类精度分别达到87%、93%和97%。进一步展示了PNNs如何通过混合物理–数字架构与传统数字硬件协作,以最大限度提高能效。该研究还探讨了PNNs在智能传感器、机器人和材料设计等领域的潜在应用。
结论与展望
本文提出的物理神经网络(PNNs)及其训练框架物理感知训练(PAT),为能效优化和功能化设计提供了新视角。PNNs不仅适用于深度学习加速器,还能用于处理物理域中的数据,尤其适用于低功耗智能传感器等场景。未来研究可进一步优化PAT算法,并探索更广泛的物理系统应用,例如非电子硬件、机器人和材料设计等领域,从而推动PNNs的实际应用和产业化进程。
论文直达
原文标题:Deep physical neural networks trained with backpropagation
Nature 2022, 601, 549–555.
点击以下链接阅读原文: