Learning to use activation functions in efficient way
我们都知道神经网络有很强的函数拟合能力，但是在实际反向传播训练的时候，由于loss function过度复杂（严格非凸），在高维参数空间里存在许多local optimal point以及saddle point，所以往往loss function最后只能收敛到一个局部最优解，甚至是一个鞍点解。当时[......]
Read more我们都知道神经网络有很强的函数拟合能力，但是在实际反向传播训练的时候，由于loss function过度复杂（严格非凸），在高维参数空间里存在许多local optimal point以及saddle point，所以往往loss function最后只能收敛到一个局部最优解，甚至是一个鞍点解。当时[......]
Read more今天正好是我的birthday :)，也好对这一年来做的工作来一个总结。
我把研究生最美好的一年时光给了End2End，但却还是没有得到太多回报。直到现在我依然不看好端到端对话系统这个方向，因为这个方向现在问题实在太多了，很多问题也许本身跟对话系统无关，但却很大程度上影响了端到端对话系统的发展，同[......]