Mínimos Cuadrados Lineales – Ecuaciones normales

En esta entrada empezaremos el estudio de los mínimos cuadrados lineales. En particular, en esta entrada, veremos las ecuaciones normales, las cuales forman un sistema que tiene por solución un vector que minimiza un sistema inicial.

Existen varios métodos para resolver el siguiente sistema de ecuaciones:

$$
Ax=b\;\;\;\;\;\text{(1)}
$$

donde \(A\in\mathbb{R}^{n\times n}\), \(x\in\mathbb{R}^{n}\) y \(b\in\mathbb{R}^{n}\). Si el rango de \(A\) es igual a \(n\) entonces podemos hallar una solución exacta al sistema (1).

A partir de ahora trataremos con sistemas como (1) pero la matriz \(A\) tendrá una dimensión arbitraria \(m\times n\), es decir, \(A\in\mathbb{R}^{m\times n}\). Es probable que el rango de A sea diferente de \(n\), entonces el sistema no tiene una solución exacta. Lo que vamos a hacer entonces, será hallar una pseudosolución el cual minimizará \(\left|\left|Ax-b\right|\right|_{2}\)

Vamos a deducir las ecuaciones normales tal como aparece en el artículo "Linear Least Square" de Wikipedia.

Como no podemos obtener una solución exacta al sistema (1), entonces vamos a analizar los residuos:
$$
r = b - Ax\;\;\;\;\;\text{(2)}
$$
expandiendo
$$
r_{i}=b_{i}-\sum_{j=1}^{m}A_{ij}x_{j}\;\;\;\;\;\text{(3)}
$$
Dado que estamos utilizando la norma euclidiana (\(\left|\left|\cdot\right|\right|_{2}\)). Debemos minimizar entonces la siguiente función objetivo:
$$
S=\sum_{i=1}^{m}r_{i}^{2}\;\;\;\;\;\text{(4)}
$$
Si \(x\) minimiza el sistema (1), entonces se debe cumplir
$$
\dfrac{\partial S}{\partial x_{j}} = 0\;\;\;\;\;\text{(5)}
$$
para \(j=1,2,\dots,n\). De la ec. (4)
$$
\dfrac{\partial S}{\partial x_{j}} = 2\sum_{i=1}^{m}r_{i}\dfrac{\partial r_{i}}{\partial x_{j}} \;\;\;\;\;\text{(6)}
$$
De la ec. (3)
$$
 \dfrac{\partial r_{i}}{\partial x_{j}} = -A_{ij}\;\;\;\;\;\text{(7)}
$$
Sustituyendo las ec. (3) y (7) en la ec. (6) obtenemos
$$
 \dfrac{\partial S}{\partial x_{j}} = 2\sum_{i=1}^{m}\left( y_{i} - \sum_{k=1}^{n}A_{ik}x_{k} \right) (-A_{ij})\;\;\;\;\;\text{(8)}
$$
Reemplazando finalmente en la ec. (5)
$$
2\sum_{i=1}^{m}\left( y_{i} - \sum_{k=1}^{n}A_{ik}x_{k} \right) (-A_{ij}) = 0\;\;\;\;\;\text{(9)}
$$
Operando y acomodando obtenemos
$$
 \sum_{i=1}^{m}\sum_{k=1}^{n}A_{ij}A_{ik}x_{k} = \sum_{i=1}^{m}A_{ij}y_{i}\;\;\;\;\;\text{(10)}
$$
Expresando esta ecuación en su forma matricial:
$$
 A^{T}Ax = A^{T}y\;\;\;\;\;\text{(11)}
$$
A este último sistema se le conoce como ecuaciones normales.

Hemos llegado así a la siguiente importante conclusión:

La solución del sistema (11) minimiza a \(\left|\left|Ax-b\right|\right|_{2}\)