trio.AdamParams

class AdamParams(BaseModel):
    learning_rate: float = 0.0001
    beta1: float = 0.9
    beta2: float = 0.95
    eps: float = 1e-12
    weight_decay: float = 0.0

AdamParams 是 Adam 优化器的参数配置，传入 TrainingClient.optim_step()。

training_client.optim_step(AdamParams(learning_rate=1e-4)).result()

参数

参数	类型	默认值	说明
`learning_rate`	`float`	`1e-4`	学习率
`beta1`	`float`	`0.9`	一阶矩估计的衰减系数
`beta2`	`float`	`0.95`	二阶矩估计的衰减系数
`eps`	`float`	`1e-12`	数值稳定项，防止除零
`weight_decay`	`float`	`0.0`	权重衰减系数（L2 正则化）

参数

On this page