Метод наименьших квадратов (МНК). Свойства МНК-оценок в множественном регрессионном анализе

Общий вид КЛММР:

Постулируется взаимная некоррелированность случайных регрессионных остатков ( для ij). Тот факт, что для всех остатков ε1, ε2,…, εn выполняется соотношение E εi2=σ2, где величина σ2 от номера наблюдения I не зависит, означает неизменность дисперсий регрессионных остатков. Это свойство принято называть гомоскедастичностью регрессионных остатков.

Матричная форма записи КЛММР имеет вид:

МНК

Для оценки вектора β наиболее часто используют метод наименьших квадратов (МНК), согласно которому в качестве оценки принимают вектор b, который минимизирует сумму квадратов отклонения наблюдаемых значений yi от модельных значений ŷ, т. е. квадратичную форму:

Дифференцируя, с учетом квадратичную форму Q по вектору β:

и приравнивая производные нулю, получим оценку метода наименьших квадратов:

Получаем вектор оценок b, где b=(b0 b1 .bk)T.

Оценка ковариационной матрицы коэффициентов регрессии вектора b определяется из выражения:

,

где

Свойства МНК-оценок.

) состоятельность (по вероятности) n→∞

для ε, δ>0, n0, что для всех объемов выборки выполняется

p

2) несмещенность

. Беря мат. Ожидание от левой и правой частей с учетом того, что величины неслучайны, а средние значения остатков равны 0, то получаем:. Тем самым показано, что МНК-оценки неизвестных параметров КЛММР являются несмещенными.

) эффективность; 4) линейность.

Другие статьи

Теория ассоциации Сен-Семона
Великая французская революция - это крупнейшая трансформация социальной и политической систем Франции, произошедшая в конце 18 века, в результате которой был уничтожен старый порядок, и Франция из монархии превратилась в республику свободных и равных граждан. Ее девиз стал следующим: ...