miniatura|Punts i la seva distància a una funció determinat segons el mètode dels mínims quadrats. Aquí s'ha escollit una funció logística com a model de la corba. El mètode de mínims quadrats és el procediment matemàtic estàndard per a l'ajust de corbes. Donat un núvol de punts corresponent a les dades es busca una corba que passi tan a prop com sigui possible dels punts de les dades. Les dades poden representar mesures físiques, valors econòmics o similars, mentre que la corba pertany a una família de corbes paramètriques adequada al problema que es pretén modelitzar. El mètode dels mínims quadrats consisteix llavors a determinar els paràmetres de la corba de manera que sigui mínima la suma de les desviacions elevades al quadrat entre els valors de la corba i els dels punts observats. Les desviacions s'anomenen residus.
Al gràfic de l'exemple s'han representat els punts de les dades. En una primera etapa se selecciona una classe de funció que hauria de correspondre al problema i a les dades, aquí una funció logística. Llavors els seus paràmetres es determinen de tal manera que la suma dels quadrats de les desviacions e entre les observacions i els valors de la funció sigui mínima. Al gràfic es representa la desviació e al lloc t com la distància vertical entre l'observació y i el valor de la corba.
El mètode s'aplica sovint en estadística, en particular en anàlisi de regressions. El mètode és atribuït sovint a Carl Friedrich Gauss (1795), encara que va ser publicar per primer cop per Adrien-Marie Legendre. El mínims quadrats corresponen al criteri de màxima versemblança si els errors experimentals tenen una distribució normal i també es pot obtenir com un estimador del mètode dels moments. L'anàlisi de regressió està disponible en molts paquets de programari estadístic.
Història miniatura|Carl Friedrich Gauß
El dia d'any nou de 1801 l'astrònom italià Giuseppe Piazzi va descobrir l'asteroides Ceres. Durant 40 dies li va poder seguir la trajectòria, llavors Ceres va desaparèixer darrere del sol. En el transcurs de l'any molts científics van intentar sense èxit calcular l'òrbita mitjançant les observacions de Piazzi - suposant una òrbita circular, ja que en aquella època només es podien determinar matemàticament els elements orbitals per aquest tipus d'òrbites a partir de les posicions observades al cel. En canvi Gauss que llavors tenia 24 anys també podia calcular òrbites el·líptiques a partir de tres observacions individuals. Com que tanmateix existien clarament més punts d'òrbita, va fer servir el seu mètode dels mínims quadrats per augmentar així l'exactitud. Quan Franz Xaver von Zach i Heinrich Wilhelm Olbers al desembre de 1801 retrobaven el petit planeta exactament al lloc predit per Gauss, no va ser només un èxit per a Gauss: També es va restaurar la reputació de Piazzi que havia quedat greument afectada en no trobar el planeta en els punts predits per l'ajust a l'òrbita circular.
miniatura|Les observacions de Piazzi publicades a Monatliche Correspondenz del setembre de 1801 Gauss havia desenvolupat les bases del seu procediment ja el 1795 a l'edat de 18 anys. Es basava en una idea de Pierre-Simon Laplace de sumar les magnituds dels errors de manera que el total donés zero. Gauss, en comptes d'això, agafava els quadrats de l'error i podia ometre l'exigència addicional artificial que la suma d'errors fos zero. De forma independent el francès Adrien-Marie Legendre va desenvolupar el mateix mètode per primera vegada l'any 1806 al final d'una petita obra sobre el càlcul de les òrbites de cometes i va publicar-ne un segon tractat l'any 1810. D'aquí en ve el nom méthode des moindres carrés (Mètode dels mínims quadrats).
El 1809 Gauss va publicar la segona part de la seva obra Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium, incloent-hi el procediment i les equacions normals i el Mètode de reducció de Gauss. Respecte a això mencionava, que ho havia descobert abans que Legendre i l'havia fet servir, això va conduir a un conflicte de prioritat entre els dos. El mètode dels mínims quadrats es convertia ràpidament en el procediment estàndard per al tractament de registres astronòmics o geodèsics.
Llavors Gauss va fer servir el procediment intensivament en el seu mesurament per triangulació del regne de Hannover. Entre 1821 i 1823 apareix la seva obra Theoria Combinationis, on Gauss va poder proporcionar una argumentació de per què el seu procediment tenia tant d'èxit en comparació amb els altres: El mètode dels mínims quadrats és òptim en un sentit ampli, per tant és millor que altres mètodes. L'afirmació exacta es coneix com a teorema de Gauss-Markow, ja que la feina de Gauss va trobar poca consideració i va ser redescoberta finalment al per Andrei Andrejewitsch Markow qui el va donar a conèixer. Theoria Combinationis també conté progressos substancials en la resolució eficient dels sistemes d'equació lineals que hi apareixen, com el mètode de Gauss-Seidel i la descomposició LR.Pete Stewart, 21. Juni 1991: http://www.netlib.org/na-digest-html/91/v91n26.html#4
L'oficial de mesurament francès André-Louis Cholesky va desenvolupar durant la Primera Guerra Mundial la factorització de Cholesky que va representar un altre augment considerable d'eficiència davant els procediments de solució de Gauss. En els anys 1960 Gene Golub va desenvolupar la idea de resoldre els sistemes d'equacions lineals que hi apareixen mitjançant la descomposició QR.
El procediment Es planteja que una variable dependent y sigui tal que el seu valor està determinat per una variable t o també per diverses variables. Per exemple, la dilatació d'una molla depèn només de la força aplicada, en canvi els beneficis d'una empresa depenen de diversos factors com el volum de vendes, les diferents despeses o el capital propi. Per simplificar la notació, en l'explicació que segueix, la representació es limita a una variable t. La relació entre y i les variables s'explica per una funció model f, per exemple una paràbola o una funció exponencial.
Per tant, l'allargament d'un ressort depèn només de la força aplicada, els beneficis d'una empresa, però, per diversos factors, com ara vendes, els costos de diversos o d'equitat. Per simplificar la notació es limitarà per sota de la pantalla en una variable t. La relació entre les variables y i f és una funció de model, per exemple, una paràbola o una exponencial
,
El valor de la funció depèn de t així com de m paràmetres de la funció xj. Aquesta funció model pot provenir del coneixement de l'usuari; en cas de la molla és aquest cas, per exemple la llei de Hooke i, per tant, una funció lineal amb la constant de la molla com a únic paràmetre. En casos més difícils, com el de l'empresa l'elecció del tipus de funció ve precedit per un procés de modelatge tan complex com es desitgi, també es poden fixar diferents funcions model i comparar els resultats.
Els paràmetres xj serveixen per adaptar el tipus de funció seleccionada als valors observats de yi. L'objectiu és escollir els paràmetres de tal manera que la funció model aproximi les dades el millor possible.
Per trobar informació sobre els paràmetres i, per tant, la naturalesa específica de la relació, es fan servir en cada cas n valors donats ti de la variable independent t i els corresponents valors observats yi (i = 1,..., n).
Gauss i Legendre varen tenir la idea de fer hipòtesis sobre la distribució de probabilitat dels errors de mesura de les observacions. Hauria de ser de mitjana zero, cada error en la mesura hauria de tenir la mateixa variància i ser estadísticament independent de qualsevol altre error de mesura. Exigint per tant, que en els errors de mesura no es trobi cap tipus d'informació sistemàtica i fluctuïn al voltant de zero per pur atzar. A més els errors de mesura haurien d'estar distribuïts normalment, això té avantatges d'una banda justificats en la teoria de la probabilitat i d'altra banda garanteix que els valors atípics de y queden pràcticament exclosos.
Per assolir aquest objectiu és completament necessari que hi hagi una quantitat de punts de dades significativament més gran que el nombre de paràmetres, per la qual cosa ha de ser n > m.
El criteri per determinar l'aproximació que s'ha d'acceptar s'ha d'elegir de forma que les desviacions grans de la funció model respecte de les dades es penalitzin més fort que les desviacions petites. S'han de seleccionar aquells paràmetres que facin que la suma dels residus elevats al quadrat sigui mínima entre els valors corresponents de la corba del model f (ti) i les dades yi (Suma del quadrat dels residus o també suma del quadrat de l'error) en comparació amb altres eleccions dels paràmetres, escrit de manera formal:
amb . O el que és equivalent, es tracta de minimitzar la norma euclidiana del vector diferència:
amb . Com es resol exactament aquest problema de minimització depèn del tipus de la funció de model. Sovint es pot resoldre amb l'ajuda d'un diagrama de dispersió entre i y.
Funció model lineal
Cas bidimensional Un cas especial de la funció de model és la funció lineal en què els paràmetres x són coeficients d'un polinomi de primer grau. El cas més simple és
En notació matricial s'escriu
Per la recta de regressió que resulta d'aquest exemple simple, però rellevant es poden expressar directament les solucions per als paràmetres com a
i
amb la mitjana aritmètica dels valors de , i el mateix per . La solució per a també es pot expressar amb l'ajuda de la variància com
Exemple miniatura|Gràfic de dispersió de longituds i amplades de 10 vaixells de guerra seleccionats a l'atzar El següent exemple mostra que l'aproximació de la funció lineal . Se seleccionen a l'atzar 10 vaixells de guerra i s'analitzen diverses característiques entre elles la longitud (m) i l'amplada (m). S'ha d'investigar si l'amplada d'un vaixell de guerra pot ser explicada per la longitud.
El diagrama de dispersió mostra que entre la longitud i l'amplada d'un vaixell, hi ha clarament una relació lineal pronunciada.
Tot seguit es calcula segons el mètode de mínims quadrats una recta de regressió. La següent taula mostra les dades juntament amb els resultats intermedis.
Número Longitud (m) Amplada (m) ti − t yi − y i ti yi ti* yi* ti*yi* ti*ti* yi*yi* 1 208 21,6 40,2 3,19 128,238 1616,04 10,1761 2 152 15,5 −15,8 −2,91 45,978 249,64 8,4681 3 113 10,4 −54,8 −8,01 438,948 3003,04 64,1601 4 227 31,0 59,2 12,59 745,328 3504,64 158,5081 5 137 13,0 −30,8 −5,41 166,628 948,64 29,2681 6 238 32,4 70,2 13,99 982,098 4928,04 195,7201 7 178 19,0 10,2 0,59 6,018 104,04 0,3481 8 104 10,4 −63,8 −8,01 511,038 4070,44 64,1601 9 191 19,0 23,2 0,59 13,688 538,24 0,3481 10 130 11,8 −37,8 −6,61 249,858 1428,84 43,6921 Σ 1678 184,1 0,0 0,00 3287,820 20391,60 574,8490
Es procedeix tal com s'ha explicat a dalt
i també
.
Així es determina x1 com a
de manera que es podria dir que amb cada metre de longitud d'un vaixell de guerra, l'amplada creix de mitjana al voltant de 16 centímetres. El terme absolut x0 s'obté com a
L'ajust dels punts és bastant bona, amb l'ajuda de la característica longitud s'explica aproximadament un 92 per cent de la informació de l'amplada.
El cas lineal general miniatura|Conjunt de dades amb aproximacions per polinomis Un enfocament més general que el cas anterior és
que segueix sent lineal respecte dels paràmetres . Les funcions depenen només de i es poden escolli a voluntat per tal que s'adaptin al problema. De forma anàloga al cas anterior això dona un altre cop el problema
amb , i . Sovint es fan servir polinomis de regressió de la forma
Exemple d'una corba de regressió polinòmica miniatura|Taula T1: Resultats de l'estimació dels mínims quadrats amb 4 variables de dades