跳转到主要内容

神经网络

Transformer走下神坛?南加州大学教授:想解决常识问题,神经网络不是答案

demi 提交于

NLP研究人员都知道语言模型只能学到语法上下文信息,对于常识性问题则束手无措。南加州大学的一名助理教授最近做客《对话》,阐述了他眼中的常识以及解决方法。他悲观地预测,也许5年、50年才能解决,到底需要多久,没人知道。

深度学习的未来在光子——光计算可以大幅减少神经网络的能源需求

demi 提交于

过去二十多年来,深度学习需要越来越多的乘法累加运算,计算机的性能也基本遵循摩尔定律大幅增长。然而,随着半导体工艺发展到临近极限,摩尔定律已经失去动力,继续保持成长趋势是一个极大的挑战。

神经网络的学习方式 - 从网络传播到图卷积

demi 提交于

你可能听说过图卷积,因为它在当时是一个非常热门的话题。虽然不太为人所知,但网络传播是计算生物学中用于网络学习的主要方法。在这篇文章中,我们将深入研究网络传播背后的理论和直觉,我们也将看到网络传播是图卷积的一种特殊情况。