国王决定,不能只惩罚弓箭手,因为问题可能出现在更深层次的环节。他让信使从终点(箭靶)向前传递信息,逐步追查问题的来源。
信使的任务是:
1. 先从箭靶出发,检查弓箭手的瞄准情况。
? 如果射手的手抖了,误差可能主要来自瞄准(类似于反向传播计算损失对输出层的影响)。
2. 再检查弓是否有问题。
? 如果弓的张力不够,导致射偏,那就要调整弓的设计(类似于计算误差对隐藏层的影响)。
3. 最后检查箭的质量。
? 如果箭本身重量不均匀,可能是箭匠制作的问题(类似于输入权重需要调整)。
这个过程就是误差从输出层向输入层反向传播,每一层都接收来自下一层的反馈,计算自己对误差的贡献,并调整自身。
第四步:调整各层参数(梯度下降)
找到了问题后,国王开始命令大家调整:
? 让弓箭手加强瞄准训练(调整最后一层的参数)。
? 让弓匠改进弓的材料,使其更稳定(调整隐藏层权重)。
? 让箭匠改进箭的工艺,使其更平衡(调整输入层的参数)。
他们采用的原则是逐步调整,而不是一次性大改:
这类似于梯度下降算法(Gradient dest),每次调整一点点,慢慢减少误差,让射箭成绩越来越好。
最终结果:误差越来越小
随着训练的不断优化,射箭误差越来越小,弓箭手的命中率也越来越高。
国王满意地说:“我们终于找到了让射手变强的方法!从结果出发,逐步找到问题并调整,就是让军队变得更强的秘诀。”
数学师笑着说:“陛下,这正是**误差反向传播法(backpropagation)**的精髓——从最终误差出发,逐步回溯并优化各个环节,最终让整个系统越来越精准。”
故事寓意
1. 误差反向传播法(backpropagation) 通过逐层回溯,计算每一层对误差的贡献,并调整参数,使得神经网络的输出越来越准确。
2. 损失函数衡量误差,就像国王测量射箭的准确度。
3. 梯度计算决定调整方向,就像信使从终点向前追查问题来源。
4. 梯度下降法(Gradient dest) 通过小幅调整优化神经网络,就像逐步改进弓、箭和射手的训练。
最终,神经网络就像弓箭训练营一样,经过不断优化,变得越来越精准!', '!')