Dropout：一种简单的方法来防止神经网络过拟合
Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov; 15(56):1929−1958, 2014.
摘要
具有大量参数的深度神经网络是非常强大的机器学习系统。然而，过拟合是这类网络中的一个严重问题。大型网络使用速度也很慢，使得在测试时通过组合许多不同大型神经网络的预测来解决过拟合变得困难。Dropout 是一种解决此问题的方法。其关键思想是在训练期间随机丢弃单元（以及它们的连接）来自神经网络。这可以防止单元过度协同适应。在训练期间，dropout 从指数数量的不同稀疏网络中进行采样。在测试时，很容易通过使用单个未稀疏化的网络（该网络具有较小的权重）来近似所有这些稀疏网络预测的平均效果。这显著减少了过拟合，并比其他正则化方法提供了重大改进。我们表明 dropout 提高了神经网络在视觉、语音识别、文档分类和计算生物学等监督学习任务中的性能，并在许多基准数据集上获得了最先进的结果。
| © JMLR 2014. (edit, beta) |