1、什么是优化器？

pytorch的优化器：管理并更新模型中可学习的参数的值，使得模型输出更接近真实标签

导数：

方向导数

梯度

2、optimizer的属性

defaults：优化器超参数

state：参数的缓存，如momentum的缓存

params_groups：管理的参数组

_step_count：记录更新次数，学习率调整中使用

3、optimizer的方法

zero_grad()：清空所管理参数的梯度 【Pytorch特性：张量梯度不自动清零】

step()：执行一步更新

add_param_group()：添加参数组

state_dict（）：获取优化器当前状态信息字典

load_state_dict():加载状态信息字典

4、learning rate学习率

5、momentum动量

6、torch.optim.SGD

主要参数：

• params：管理的参数组
• lr：初始学习率
• momentum：动量系数，贝塔
• weight_decay：L2正则化系数
• nesterov：是否采用NAG

7、Pytorch的十种优化器

optimer.SGD：随机梯度下降法

optimer.Adagrad：自适应学习率梯度下降法

optimer.RMSprop：Adagrad的改进

optimer.Adadelta：Adagrad的改进

optimer.Adam：RMSprop结合Momentum

optimer.Adamax：Adam增加学习率上限

optimer.SparseAdam：稀疏版的Adam

optimer.ASGD：随机平均梯度下降

optimer.Rprop：弹性反向传播

optimer.LBFGS：BFGS的改进

区别！！

优质内容筛选与推荐>>
1、Remoting概述
2、Windows窗口自动缩放机制
3、radwindow 第二次进入编辑页面时有缓存 DestroyOnClose ReloadOnShow
4、Andrdoid中对应用程序的行为拦截实现方式之----从底层C进行拦截 分类： Android 2014-09-17 18:09 3202人阅读 评论(9) 收藏
5、CCF-NOIP-2018 提高组(复赛) 模拟试题(五)

赞赏

长按二维码向我转账

受苹果公司新规定影响，微信 iOS 版的赞赏功能被关闭，可通过二维码转账支持公众号。

阅读

已发送

发送中