用三维Demo看懂各种优化算法

在TensorFlow、Keras、PyTorch中都集成了这些优化工具，但它们是如何在一步步迭代中“滑落”到最小值的，你真的清楚吗？

现在有一个机器学习优化算法的Demo，能帮你从图像中直观感受到调参对算法结果的影响，以及各自的优缺点。

它就是ensmallen！它的开发者不仅提供了Demo，还给程序员们打包了一份C++数据库，那我们先来试玩一下吧。

试玩Demo

试玩方法很简单，甚至不需要安装任何软件，进入ensmallen网站，选择Demo标签，就能看到一组优化算法的3D示意图。

页面默认是常见的Adam算法，我们会参数初始值所在位置，也就是图片中的红点，可以用鼠标随意拖动。

中间和右侧的图都是损失函数的“等高线”。中间以不同颜色标记不同高度，右侧直接给出了损失函数的梯度场，以箭头指向表示梯度方向、长度表示梯度大小。可以看出等高线越密集的地方，梯度也越大。

如果觉得上面的损失函数图不够清晰直观，还有高清3D大图：的“玩法”只是Demo很小的一部分，想尝试更多请参见文末的链接地址。

C++程序员福音

千万不要以为ensmallen只是一个好玩的Demo，实际上它还是一个高效的C++优化库。对于用C++来给AI编程的程序员来说，它能对任意函数进行数学优化，解决了C++机器学习工具匮乏的痛点。

ensmallen除了打包基本优化算法之外，用户还可以使用简单的API轻松添加新的优化器。实现新的优化器只需要有一种方法和一个新的目标函数，通常用一到两个C++函数就能搞定。

安装ensmallen需要满足以下要求：

• 支持C++ 11的编译器
• C++线性代数与科学计算库Armadillo
• 数学函数库OpenBLAS或Intel MKL或LAPACK

ensmallen中的所有内容都在ens命名空间中，因此在代码中放置一

（编辑：我爱制作网_潮州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!