一种减少复发神经网络中神经元数量的方法

加拿大皇后大学的一个研究小组最近提出了一种缩小随机递归神经网络(rRNN)的新方法，这是一类人工神经网络，通常用于根据数据进行预测。他们的方法在预先发布在arXiv上的论文中提出，允许开发人员最小化rRNN隐藏层中的神经元数量，从而提高其预测性能。

“我们的实验室专注于为人工智能应用设计硬件，”进行这项研究的研究人员之一Bicky Marquez告诉TechXplore。“在这项研究中，我们一直在寻找理解神经网络运行原理的策略，同时尝试减少我们打算构建的网络中的神经元数量，而不会在解决任务时对其性能产生负面影响。我们要解决的主要任务是预测，因为这一直是科学界和整个社会的极大兴趣。“

开发可以从数据预测未来模式的机器学习工具已成为全球众多研究团队关注的焦点。这远非令人惊讶，因为预测未来事件可能在各个领域具有重要应用，例如，预测天气，预测库存移动或绘制某些人类病理的演变。

Marquez及其同事进行的研究具有跨学科性质，因为它融合了与非线性动力系统，时间序列分析和机器学习相关的理论。研究人员的主要目标是扩展以前可用于神经网络分析的工具包，最小化隐藏的rRNN层中的神经元数量，并部分消除这些网络的黑盒属性。

为实现这一目标，他们引入了一种新方法，将预测理论和机器学习融合到一个框架中。他们的技术可用于提取和使用rNN输入数据的相关特征，并指导其隐藏层的缩小过程，最终提高其预测性能。

研究人员利用他们研究中收集的见解开发了一种名为Takens灵感处理器的新型人工神经网络模型。该模型由真实和虚拟神经元组成，在诸如高质量，长期预测混沌信号等挑战性问题上实现了最先进的性能。

“我们模型的主要优势在于它解决了构成典型人工神经网络的大量神经元所产生的问题，”Marquez解释说。“当考虑优化这种网络来解决任务时，这些模型中过多的神经元通常会转化为计算上昂贵的问题。在我们的设计中包含虚拟神经元的概念是减少物理量的一个非常方便的步骤。神经元“。

在他们的研究中，Marquez和她的同事们还使用他们的混合处理器来稳定神经元兴奋性的心律失常神经模型，称为Fitz-Hugh-Nagumo。与其他标准神经网络相比，他们的方法允许他们将稳定神经网络的大小缩小15倍。

“我们的方法使我们能够发现在网络空间内创建的一些相关特征，这些特征是成功预测的基本代理，”Marquez说。“如果我们能够识别并消除这些重要功能周围的噪音，我们就可以使用它们来提高我们网络的性能。”

Marquez及其同事设计的方法是以前可用于rRNN开发和分析工具的重要补充。将来，他们的方法可以为更有效的预测神经网络设计提供信息，减少其中包含的节点和连接数量。他们的技术还可以使rRNN更加透明，允许用户访问关于系统如何达到给定结论的关键洞察力。

“我们专注于神经形态硬件，”马克斯说。“因此，我们接下来的步骤将与这种随机循环网络的物理实现相关。我们的最终目标是设计能够非常有效地解决人工智能问题的大脑启发计算机：超快速和低能耗。”