Dlaczego zwykła metoda najmniejszych kwadratów jest stosowana w regresji liniowej?

Dlaczego zwykła metoda najmniejszych kwadratów jest stosowana w regresji liniowej?
Anonim

Odpowiedź:

Jeśli założenia Gaussa-Markofa pozostają w mocy, OLS zapewnia najniższy błąd standardowy dowolnego estymatora liniowego, więc najlepszy liniowy obiektywny estymator

Wyjaśnienie:

Biorąc pod uwagę te założenia

  1. Współczynniki parametrów są liniowe, to tylko oznacza # beta_0 i beta_1 # są liniowe, ale # x # zmienna nie musi być liniowa, może być # x ^ 2 #

  2. Dane zostały pobrane z losowej próbki

  3. Nie ma doskonałej wielokoliniowości, więc dwie zmienne nie są idealnie skorelowane.

  4. #E (u #/#x_j) = 0 # średnie założenie warunkowe wynosi zero, co oznacza, że # x_j # zmienne nie dostarczają informacji o średniej niezauważalnych zmiennych.

  5. Wariancje są równe dla dowolnego poziomu # x # to znaczy #var (u) = sigma ^ 2 #

Następnie OLS jest najlepszym estymatorem liniowym w populacji estymatorów liniowych lub (Best Linear Unutive Estimator) BLUE.

Jeśli masz dodatkowe założenie:

  1. Wariancje są normalnie rozłożone

Następnie estymator OLS staje się najlepszym estymatorem niezależnie od tego, czy jest estymatorem liniowym czy nieliniowym.

Oznacza to w istocie, że jeśli założenia 1-5 będą utrzymywać, OLS zapewnia najniższy błąd standardowy dowolnego estymatora liniowego, a jeśli 1-6 wstrzyma, to zapewnia najniższy błąd standardowy dowolnego estymatora.