12. Оценивание неизвестных коэффициентов модели регрессии методом наименьших квадратов. Теорема Гаусса – Маркова
К оглавлению1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1617 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67
68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84
85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
Определение коэффициентов модели регрессии осуществляется на третьем этапе схемы построения эконометрической модели. В результате этой процедуры рассчитываются оценки (приближенные значения) неизвестных коэффициентов спецификации модели.
Спецификация линейной эконометрической модели из изолированного уравнения с гомоскедастичными возмущениями имеет вид:
Рассмотрим метод наименьших квадратов на примере оценивания эконометрических моделей в виде моделей парной регрессии (изолированных уравнений с двумя переменными).
Если уравнение модели содержит две экономические переменные – эндогенную yiи предопределенную xi, то модель имеет вид:
Данная модель называется моделью линейной парной регрессии и содержит три неизвестных параметра:
β0 , β1 , σ. (3)
Предположим, что имеется выборка: (х1, y1), (х2, y2),… (хn , yn) (4)
Тогда в рамках исследуемой модели данные величины связаны следующим образом:
y1 = a0 + a1 * x1 + u1,
y2 = a0 + a1 * x2 + u2, (5)
…
yn= a0 + a1 * x n + u n.
Данная система называется системой уравнений наблюдения объекта в рамках исследуемой линейной модели или схемой Гаусса-Маркова.
Компактная запись схемы Гаусса-Маркова:
где
– вектор-столбец известных значений эндогенной переменной yiмодели регрессии;
– вектор-столбец неизвестных значений случайных возмущений εi;
– матрица известных значений предопределенной переменной xi модели;
β = (β0 β1 )Т (10) – вектор неизвестных коэффициентов модели регрессии.
Обозначим оценку вектора неизвестных коэффициентов модели регрессии как
Данная оценка вычисляется на основании выборочных данных (7) и (9) с помощью некоторой процедуры:
где P (X, ỹ) – символ процедуры.
Процедура (12) называется линейной относительно вектора (7) значений эндогенной переменной yi, если выполняется условие:
где
(14) – матрица коэффициентов, зависящих только от выборочных значений (9) предопределенной переменной хi.
Теорема Гаусса-Маркова. Пусть матрица Х коэффициентов уравнений наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовлетворяют четырем условиям:
E(ε1) = E(ε2) = … = E(εn) = 0, (15)
Var(ε1) = Var(ε2) = … = Var(εn) = σ2(16)
Cov(εi, εj) = 0 при i≠j(17)
Cov(xi,εj) = 0 при всех значениях i и j (18)
В этом случае справедливы следующие утверждения:
а) наилучшая линейная процедура (13), приводящая к несмещенной и эффективной оценке (11), имеет вид:
б) линейная несмещенная эффективная оценка (19) обладает свойством наименьших квадратов:
в) ковариационная матрица оценки (19) вычисляется по правилу:
г) несмещенная оценка параметра σ2 модели (2) находится по формуле:
Следствие теоремы Гаусса-Маркова. Оценка
доставляемая процедурой (19) метода наименьших квадратов, может быть вычислена в процессе решения системы двух линейных алгебраических уравнений:
Данная система называется системой нормальных уравнений. Ее коэффициенты и свободные члены определяются по правилам:
[x] = x1 + x2 +…+ xn,
[y] = y1 + y2 +…+ yn, (24)
x2] = x12 + x22 +…+ xn2,
[xy] = x1*y1 + x2*y2 + … + xn*yn.
Явный вид решения системы (23):
Определение коэффициентов модели регрессии осуществляется на третьем этапе схемы построения эконометрической модели. В результате этой процедуры рассчитываются оценки (приближенные значения) неизвестных коэффициентов спецификации модели.
Спецификация линейной эконометрической модели из изолированного уравнения с гомоскедастичными возмущениями имеет вид:
Рассмотрим метод наименьших квадратов на примере оценивания эконометрических моделей в виде моделей парной регрессии (изолированных уравнений с двумя переменными).
Если уравнение модели содержит две экономические переменные – эндогенную yiи предопределенную xi, то модель имеет вид:
Данная модель называется моделью линейной парной регрессии и содержит три неизвестных параметра:
β0 , β1 , σ. (3)
Предположим, что имеется выборка: (х1, y1), (х2, y2),… (хn , yn) (4)
Тогда в рамках исследуемой модели данные величины связаны следующим образом:
y1 = a0 + a1 * x1 + u1,
y2 = a0 + a1 * x2 + u2, (5)
…
yn= a0 + a1 * x n + u n.
Данная система называется системой уравнений наблюдения объекта в рамках исследуемой линейной модели или схемой Гаусса-Маркова.
Компактная запись схемы Гаусса-Маркова:
где
– вектор-столбец известных значений эндогенной переменной yiмодели регрессии;
– вектор-столбец неизвестных значений случайных возмущений εi;
– матрица известных значений предопределенной переменной xi модели;
β = (β0 β1 )Т (10) – вектор неизвестных коэффициентов модели регрессии.
Обозначим оценку вектора неизвестных коэффициентов модели регрессии как
Данная оценка вычисляется на основании выборочных данных (7) и (9) с помощью некоторой процедуры:
где P (X, ỹ) – символ процедуры.
Процедура (12) называется линейной относительно вектора (7) значений эндогенной переменной yi, если выполняется условие:
где
(14) – матрица коэффициентов, зависящих только от выборочных значений (9) предопределенной переменной хi.
Теорема Гаусса-Маркова. Пусть матрица Х коэффициентов уравнений наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовлетворяют четырем условиям:
E(ε1) = E(ε2) = … = E(εn) = 0, (15)
Var(ε1) = Var(ε2) = … = Var(εn) = σ2(16)
Cov(εi, εj) = 0 при i≠j(17)
Cov(xi,εj) = 0 при всех значениях i и j (18)
В этом случае справедливы следующие утверждения:
а) наилучшая линейная процедура (13), приводящая к несмещенной и эффективной оценке (11), имеет вид:
б) линейная несмещенная эффективная оценка (19) обладает свойством наименьших квадратов:
в) ковариационная матрица оценки (19) вычисляется по правилу:
г) несмещенная оценка параметра σ2 модели (2) находится по формуле:
Следствие теоремы Гаусса-Маркова. Оценка
доставляемая процедурой (19) метода наименьших квадратов, может быть вычислена в процессе решения системы двух линейных алгебраических уравнений:
Данная система называется системой нормальных уравнений. Ее коэффициенты и свободные члены определяются по правилам:
[x] = x1 + x2 +…+ xn,
[y] = y1 + y2 +…+ yn, (24)
x2] = x12 + x22 +…+ xn2,
[xy] = x1*y1 + x2*y2 + … + xn*yn.
Явный вид решения системы (23):