用于超参数优化的随机搜索
James Bergstra, Yoshua Bengio; 13(10):281−305, 2012.
摘要
网格搜索和手动搜索是超参数优化中最常用的策略。本文通过实证和理论证明，随机选择的试验比网格上的试验更有效地进行超参数优化。实证证据来自于与先前的大规模研究的比较，该研究使用网格搜索和手动搜索来配置神经网络和深度信念网络。与纯网格搜索配置的神经网络相比，我们发现对同一域进行随机搜索能够在更短的计算时间内找到同样好或更好的模型。在给予随机搜索相同的计算预算的情况下，随机搜索通过有效地搜索更大的、不太有希望的配置空间来找到更好的模型。与通过深思熟虑的手动搜索和网格搜索组合配置的深度信念网络相比，纯粹的随机搜索在相同的32维配置空间中，在七个数据集中的四个上找到统计上相等的效果，在一个数据集上找到更优的效果。对从超参数到验证集性能的函数进行高斯过程分析表明，对于大多数数据集，只有少数超参数真正重要，但不同的数据集对不同的超参数重要。这种现象使得网格搜索成为配置针对新数据集的算法的糟糕选择。我们的分析阐明了为什么最近的“高通量”方法能够取得令人惊讶的成功——它们似乎搜索大量的超参数，因为大多数超参数并不重要。我们预计对大型分层模型日益增长的兴趣将给超参数优化技术带来越来越大的负担；这项工作表明，随机搜索是评估自适应（顺序）超参数优化算法进展的自然基线。
| © JMLR 2012. (edit, beta) |