有趣的数学 了解TensorFlow的自动微分的实现

一、简述

这里主要介绍了TensorFlow的自动微分（autodiff）功能如何工作，以及与其他解决方案的比较。假设您定义了一个函数，并且需要计算它的偏导数和，通常用于执行梯度下降（或某些其他优化算法）。可用的主要选择是手动微分、有限差分近似、正向模式自动微分和反向模式自动微分。

TensorFlow实现了反向模式autodiff，但要理解它，建议全面了解一下主要的方法。让我们从手动微分开始。

二、手动微分

计算导数的第一种方法是拿起一支铅笔和一张纸，用你的微积分知识推导出合适的方程。对于刚刚定义的函数，它并不太难；您只需要使用五条规则：

1、常数的导数是0。