Método de Broyden

En análisis numérico, el método de Broyden es un método cuasinewtoniano para la solución numérica de ecuaciones no lineales con más de una variable. Fue descrito originalmente por C. G. Broyden en 1965.^[1]

Para hallar la solución de la ecuación $\displaystyle f(x) = 0$ , el método de Newton emplea el jacobiano $\displaystyle J$ en cada iteración. Sin embargo, computar ese jacobiano es una operación difícil y costosa. La idea que subyace en el método de Broyden consiste en computar el jacobiano entero solamente en la primera iteración, y llevar a cabo una actualización de rango 1 en las demás iteraciones.

En 1979, Gay demostró que, cuando se aplica el método de Broyden a un sistema lineal, se requieren 2n pasos.^[2]

Descripción del método

El método de Broyden considera el método de la secante y establece una generalización de él para el espacio multidimensional.

El método de la secante sustituye la primera derivada $\displaystyle f'(x_n)$ por la aproximación de diferencia finita

$f'(x_n) \simeq \frac {f(x_n)-f(x_{n-1})}{x_n-x_{n-1} }$

y procede según el método de Newton:

$x_{n+1}=x_n-\frac{1}{f'(x_n)} f(x_n)$

Broyden establece una generalización de esa fórmula para un sistema de ecuaciones mediante una sustitución de la derivada $\displaystyle f'$ por el jacobiano $\displaystyle J$ . Éste se determina por medio de la ecuación de la secante (la aproximación de diferencia finita):

$J_n \cdot (x_n-x_{n-1})\simeq F(x_n)-F(x_{n-1})$

Sin embargo, esta ecuación está infradeterminada por más de una dimensión.

Broyden sugiere un procedimiento que consta de los siguientes 3 pasos:

1) Emplear la aproximación del jacobiano $\displaystyle J_{n-1}$

2) Tomar la solución de la ecuación de la secante que suponga la modificación mínima de $\displaystyle J_{n-1}$ (entendiendo por mínima que se dé una minimización de la norma de Frobenius $\displaystyle \|J_{n} - J_{n-1}\|_{F}$ )

$J_n=J_{n-1}+\frac{\Delta F_n-J_{n-1} \Delta x_n}{\|\Delta x_n\|^2} \Delta x^T_n$

3) Continuar según el método de Newton:

$x_{n+1}=x_n-J_n^{-1}F(x_n).$

En esa última fórmula,

$\displaystyle x_n=(x_1[n],...,x_k[n])$

$\displaystyle F_n(x)=(f_1(x_1[n],...,x_k[n]),...,f_k(x_1[n],...,x_k[n])$

son vectores columna de k elementos en un sistema de k dimensiones.

Así:

$\Delta x_n=\begin{bmatrix} x_1[n]-x_1[n-1]\\ ...\\ x_k[n]-x_k[n-1] \end{bmatrix} \quad \text{y} \quad \Delta F_n=\begin{bmatrix} f_1(x_1[n],...,x_k[n])-f_1(x_1[n-1],...,x_k[n-1])\\ ...\\ f_k(x_1[n],...,x_k[n])-f_k(x_1[n-1],...,x_k[n-1]) \end{bmatrix}.$

Broyden sugiere también emplear la fórmula de Sherman-Morrison para actualizar directamente el inverso del jacobiano:

$J_n^{-1}=J_{n-1}^{-1}+\frac{\Delta x_n-J^{-1}_{n-1} \Delta F_n}{\Delta x_n^T J^{-1}_{n-1}\Delta F_n} (\Delta x_n^T J^{-1}_{n-1})$

Éste último se conoce como el « buen método de Broyden».

Se puede obtener a partir de él una técnica similar empleando una modificación ligeramente distinta de $J n - 1$ que minimiza en su lugar $\displaystyle \|J^{-1}_{n} - J^{-1}_{n-1}\|_{F}$

Tal sería el llamado « mal método de Broyden»:

$J_n^{-1}=J_{n-1}^{-1}+\frac{\Delta x_n-J^{-1}_{n-1} \Delta F_n}{\Delta F_n^T \Delta F_n} \Delta F_n^T$

Pero, en cuanto a lo de « mal método», véase "A faster Broyden method" ("Un método de Broyden más rápido").^[3]

Se han sugerido muchos otros procedimientos cuasinewtonianos en el campo de la optimización, en el que se busca un máximo o un mínimo hallando la raíz de la primera derivada, o el gradiente si se trata de un espacio multidimensional. Se califica al jacobiano del gradiente de «hessiano», y es simétrico, lo que añade restricciones a la hora de llevar a cabo su actualización.

Referencias

↑ Broyden, C. G. (October 1965). «A Class of Methods for Solving Nonlinear Simultaneous Equations». Mathematics of Computation (American Mathematical Society) 19 (92): pp. 577–593. doi:10.2307/2003941. http://links.jstor.org/sici?sici=0025-5718%28196510%2919%3A92%3C577%3AACOMFS%3E2.0.CO%3B2-B.
↑ Gay, D.M. (August 1979). «Some convergence properties of Broyden's method». SIAM Journal of Numerical Analysis (SIAM) 16 (4): pp. 623–630. doi:10.1137/0716047.
↑ Kvaalen, Eric (November 1991). «A faster Broyden method». BIT Numerical Mathematics (SIAM) 31 (2): pp. 369–372. doi:10.1007/BF01931297.