有限差分法による勾配の計算(一次, 二次, 三次)

問題設定

一次近似

二次近似

三次近似

この三次近似について、幾何的にどう捉えられるのかを考えてみました。
(面積で議論することもできると思います)

四次近似については’Runge-Kutta法’という方法が知られています。
それについては、こちらをどうぞ ルンゲ＝クッタ法 - Wikipedia

例えば、未知関数fについて、それが2次関数であれば、2次近似により任意の[x0,xI]上の点で正確に計算できます。(Taylorの公式で3次以上の項が0になるからです)