Z uwagi na to, że rozważane tu estymatory są nieobciążone, błąd średniokwadratowy jest równy wariancji rzeczonej kombinacji liniowej. Najlepszym nieobciążonym estymatorem (ang. BLUE) jest wektor o parametrach którego błąd średniokwadratowy jest najmniejszy spośród wszystkich wektorów będących kombinacjami liniowymi parametrów. Równoważnie, macierz
jest nieujemnie określona dla każdego liniowego, nieobciążonego estymatora (zob. uwagi o dowodzie). Estymator najmniejszych kwadratów (ang. OLS) to funkcja
zależna od oraz (gdzie oznacza transpozycję macierzy ). Funkcja ta minimalizuje sumę kwadratów błędów przypadkowych, tj.
Twierdzenie Gaussa-Markowa orzeka, że estymator średniokwadraowy (OLS) jest najlepszym nieobciążonym liniowym estymatorem (BLUE).
Dowód Niech będzie dowolnym liniowym etymatorem gdzie a jest niezerową macierzą. Zakładając nieobciążoność, najlepszy estymator nieobciążony to estymator o minimalnej wariancji. By zakończyć dowód należy wykazać, że wariancja nie jest mniejsza od wariancji tj. estymatora najmniejszych kwadratów.
Oznacza to, że estymator jest nieobciążony wtedy i tylko wtedy, gdy W tym wypadku:
Macierz DD' jest nieujemnie określona, dominuje zatem poprzez macierz nieujemnie określoną (zob.