导数和积分:听起来就是高中和受苦。要读懂这些课,你一个都不用算,只要明白它们在问什么。而它们问的你早就知道:“我现在开多快?”和“我已经走了多远?”。
dE/dt d/dt 和撇号:变化的快慢
- 读作
- dE/dt 读作“E 对 t 的导数”。σ′ 读作“sigma 撇”。
- 意思是
- 在某一个瞬间,每一小段时间(或者分母上的那个量)里某个东西变了多少。就是把 ΔE/Δt 里的 Δt 取得要多小有多小。
汽车的速度表显示的不是整趟旅程的平均速度,而是此时此刻的速度。这就是导数:Δd/Δt,其中 Δt 小到几乎为零。dE/dt 里的小写 d 就是“迷你版”的 Δ。σ′ 里的撇号是同一件事的另一种写法。
课程里的例子 · 出自 焦耳、瓦特还是卡路里?轻松搞懂能量和功率
P = dE/dt(瞬时);P̄ = ΔE/Δt(平均)
∂ ∂:偏导数
- 读作
- 读作“偏”。∂L/∂w 读作“L 对 w 的偏导数”。
- 意思是
- 和 d/dt 一样,只不过用在某个东西同时取决于很多量的时候:只改变其中一个,其余保持不动。
在神经网络里,误差取决于成千上万个权重。∂L/∂w 问的是:如果只把这一个权重挪动一点点,误差会变多少?这样就知道每个旋钮该往哪边拧。
课程里的例子 · 出自 逻辑回归还是神经网络?其实是同一个神经元
σ′(z) = σ(z)(1 − σ(z)):sigmoid 的斜率,训练时 ∂L/∂W 要用到的一块。
∇ ∇:梯度
- 读作
- 读作“nabla”或“……的梯度”。∇L 读作“L 的梯度”。
- 意思是
- 一个倒三角,把所有偏导数合成一个箭头。这个箭头指向上升最快的方向。
想象你在大雾里的山上。∇ 告诉你最陡的上坡在哪边。要下山,就朝正好相反的方向走:−∇。神经网络就是这样学习的——沿着误差的山坡一步步往下走。
课程里的例子 · 出自 逻辑回归还是神经网络?其实是同一个神经元
−∇L = −Xᵀ(p − y)/n:惩罚往哪个方向下降。
∫ ∫:积分
- 读作
- 读作“……的积分”。∫ P(t) dt 读作“P(t) 对 t 积分”。
- 意思是
- 一个拉长的 S,取自“和”(sum)。它把非常多、非常薄的小块加起来:就是曲线下面的面积。
如果知道每一瞬间开多快,那一共走了多远?把旅程切成一小段一小段的时间,每段里速度乘时间,再全部加起来。切得越薄,越精确。积分就是切得无限薄时的这个和。末尾的 dt 说明按什么来切。
课程里的例子 · 出自 焦耳、瓦特还是卡路里?轻松搞懂能量和功率
E = ∫ P(t) dt:能量就是功率随时间的累积。
动手试试
一辆汽车在加速,t 秒后走了 t² 米。在“变化快慢”里,把跨度 Δt 调小,看平均速度怎样逼近 4 m/s——也就是 t = 2 s 时速度表上的读数。在“累加”里,在速度下面放更多矩形,看总和怎样逼近 9 m。
挑战
参考资料
- d/dt、撇号、∂、∇ 和 ∫:ISO 80000-2:2019, Quantities and units — Part 2: Mathematics(iso.org)。
- 导数是平均速度的极限、积分是矩形面积之和的极限:G. Strang, Calculus,第 3 版,Wellesley-Cambridge Press,2017,第 2 章和第 5 章(MIT OpenCourseWare)。
这张卡片是怎么做的: 在 Claude 的帮助下根据上面的资料撰写,并从西班牙语原文翻译。例子摘自本站的课程。小工具里的数(4 m/s 和 9 m)由 d = t² 算出,并有测试检查。插图是原创的。