Learning to use activation functions in efficient way
我们都知道神经网络有很强的函数拟合能力，但是在实际反向传播训练的时候，由于loss function过度复杂（严格非凸），在高维参数空间里存在许多local optimal point以及saddle point，所以往往loss function最后只能收敛到一个局部最优解，甚至是一个鞍点解。当时[......]
Read more我们都知道神经网络有很强的函数拟合能力，但是在实际反向传播训练的时候，由于loss function过度复杂（严格非凸），在高维参数空间里存在许多local optimal point以及saddle point，所以往往loss function最后只能收敛到一个局部最优解，甚至是一个鞍点解。当时[......]
Read more