Множественное линейное уравнение регрессии в стандартизированном масштабе. Решение квадратных систем линейных уравнений методом Гаусса

Классический метод наименьших квадратов для модели множественной регрессии

 

Общий вид линейного уравнения множественной регрессии:

 

 

b
b
x
b
e
yi= 0+ 11i+ј+ nxki+ i,

 

 

1i ki
b
где yi—значениеinойзависимойпеременной,i=1,n; x ,ј, x значения независимых переменных;

n
0, ј, b— параметры уравнения регрессии, подлежащие оценке;

i
e— случайные ошибки множественного уравнения регрессии.

 

 
Чтобы найти оценки неизвестных параметров линейного уравнения множественной регрессии, используется обычный меn тод наименьших квадратов. Его суть состоит в нахождении вектоn ра оценки b, который минимизировал бы сумму квадратов отклоn нений (остатков) наблюдаемых значений зависимой переменной y от модельных значений y.рассчитанных на основании построенn

ного уравнения регрессии.

Рассмотрим матричную форму функционала F метода наименьn ших квадратов:

 

å
(
 
b
b
 
T
i i
F = n y −y )=(Y −X ) ´ (Y −X )®min, i=1

 

 


ç ÷
x
÷
÷
÷
ç
ç
ç
ј
ç

 

æyö

 

ç ÷
=
 
ç ÷
è ø
Y çy2÷ çyn÷


 

 

— вектор значений зависимой переменной размерn ности n ´ 1;


 

 


æ1X = 1

è
ç1


 

x
x
11 12 ј x21 x22 ј

ј ј

 

xn1 xn2 ј


1kö x2k ÷

ј

x
ø
÷ nk


 

 

.

.
— вектор значений независимой переменной размерности n ґ (k + 1)


 

Первый столбец является единичным, так как в уравнении реn грессии параметр b умножается на 1.

Для того чтобы найти минимум функции (F ), нужно вычиcn лить частные производные этой функции по каждому из оцениваеn мых параметров и приравнять их к нулю. Полученная стационарn ная система уравнений может быть записана как:

 

 

=
ï
ì F

 

 
ï
ïb

í
 
b
ï
ï F=0,

 

 
ï
ï 1

 

ï
î

 

 

ç ÷
где æb ö

 

=
ç ÷
 
b çb÷ —вектороцениваемыхпараметровуравнения

ç ÷
b
ç ÷ регрессии.

k
è ø

Общий вид стационарной системы уравнений можно записать как:

 

 

 
 
b
F=−2XTY +2XTX b=0.

 

 

В результате решения системы нормальных уравнений полуn чим следующие МНКnоценки неизвестных параметров уравнеn ния регрессии:

 

 
−
b=(XTX ) 1XTY .

 

 


(
å
 

 


Рассмотрим применение метода наименьших квадратов на приГ мере модели множественной линейной регрессии с двумя переменn ными:

 

b
b
x
b
e
yi= 0+ 11i+ 2x2i+ i,

 

где i=1,n.

 

Для нахождения оценок неизвестных параметров данного уравn нения регрессии минимизируем выражение:

 


n

 

b
b
x
i
F = y − 0− 11i−

 

i=


 

 
b
b
b
b
,
,
0 1 2
2x2i) ⎯⎯⎯⎯⎯®min.


 

Стационарная система уравнений для модели множественной линейной регрессии с двумя переменными строится следующим образом:

F
b
ï
ì

b
ï
ï
F
=−2XTY +2XTX 0, ï 0

 
b
ï
í =−2XTY +2XTX b,

 

F
ï
ï 1

 
ï
îb =−2XTY+2XTXb.

 

После элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:

 

å å å
 
b b
b
ï
ì n n n

i
ï
1 1 1
ï
n´ 0+ 1 x1+ 2 x2i= yi, i= i= i=

 

ï
å å å å
 
n n n n

b
b
b
x x
x
x
ï
= = = =
ï
í0 1i+ 1 1i+ 2 1i´x2i= yi´ 1i, i 1 i 1 i 1 i 1

 

å å å å
ï
 
n n n n

b
b
b
x
x
ï
î
1 1 1 1
0 x2i+ 11i´x2i+ 2 1i= yi´x2i. i= i= i= i=

 

 

 
 
 
b
Данная система называется системой нормальных уравнений относительнокоэффициентов b , b и 2 для зависимости

 

 

b
b
x
b
e
yi= 0+ 11i+ 2x2i+ i.

 

 
0 1 2
Система нормальных уравнений является квадратной, т. е. коn личество уравнений равняется количеству неизвестных переменn ных,поэтомукоэффициентыb , b и b можнонайтиспоnмощью метода Крамера или метода Гаусса.

 


 

 

Метод Крамера заключается в следующем.

 

Единственное решение квадратной системы линейных уравнеn ний определяется по формуле:

 

D
K j= Dj, j =1,n,

 

D
где D — основной определитель квадратной системы линейных уравнений;

j—определитель, полученный из основного определителя пуn тем замены jnго столбца на столбец свободных членов.

 

Если основной определитель системы D равен нулю и все определители Djтакже равны нулю, то данная система имеет бесn конечное множество решений.

Если основной определитель системы D равен нулю и хотя бы один из определителей Djтакже равен нулю, то система решений не имеет.

 

Метод Гаусса применяется в основном для решения систем линейных уравнений, когда количество неизвестных параметров не совпадает с количеством уравнений.

Однако его используют и для решения квадратных систем лиn нейных уравнений.

 

 

 

Оценки неизвестных параметров уравнения регрессии опреn деляются с помощью метода наименьших квадратов. Однако суn ществует и другой способ оценивания этих коэффициентов в слуn чае множественной линейной регрессии. Для этого строится уравнение множественной регрессии в стандартизированном (нормированном) масштабе. Это означает, что все переменные, участвующие в регрессионной модели, стандартизируются с поn мощью специальных формул.

 

Процесс стандартизации позволяет установить точкой отсчета для каждой нормированной переменной ее среднее значение по выборке. При этом единицей измерения стандартизированной переменной становится ее среднеквадратическое отклонение.

 


 

 

Формула для перевода независимой переменной x в стандарn тизированный масштаб:

 

(
G x
( )
txij)=xij−xii

 

где i=1,n, j =1,k;

 

G(xi) — среднеквадратическое отклонение независимой пере менной.

 

Формула для перевода зависимой переменной y в стандартиn зированный масштаб:

 

 

−
=
y
)
G
t( i) yi(yy.

 

В случае линейной зависимости между изучаемыми переменn ными процесс стандартизации не нарушает этой связи, поэтому справедливо следующее равенство:

 

 

å
( )
n

 
b
t (y)= i´L xi. i=1

 

Для того чтобы найти неизвестные коэффициенты данной функции, можно использовать классический метод наименьn ших квадратов для множественной регрессии, т. е. необходимо минимизировать функционал вида:

 

 

æ ö
å
(
b
 
b
ç ÷
è ø
F = t (y)− n i´S xi) ⎯⎯®min. i=1

 

При этом в качестве переменных в системе нормальных уравn нений будут выступать парные коэффициенты корреляции. Таn кой подход основывается на следующем равенстве:

 

 

m
(
(
å
L x
j=1txij)´txkj)=riLk=rixk.

 

 


 

 

Таким образом, система нормальных уравнений для стандарn тизированной модели множественной регрессии имеет вид:

 

 
b
b
b
x ,
x
x
ï
(
 
ï
b
b b
x
x ,
í
ì1+r( 1x2) 2+ј+r ( 1xn) n=r ( 1y) r x2x1) 1+ 2+ј+r ( 2xn) n=r ( 2y)

 
ï
ï

 

 
b b
b
x .
x
x
î
r( nx1) 1+r ( nx2) 2+ј+ n=r ( ny)

 

 

 
b
b
Данная система нормальных уравнений является квадратной, т. е. количество уравнений равняется количеству неизвестных пеn

ј
ременных, поэтому оценки коэффициентов 0, , nможно найти с помощью метода Крамера, метода Гаусса или метода обn

 

ратных матриц.

 

После того как параметры уравнения множественной регрессии в стандартизированном масштабе определены, необходимо переn вести их в масштаб исходных данных:

 

 
b
b
( )
G x
i=i´G(y);

 

 

å
n

 

b
=
b =y− i´xi. i 1

 

Основная идея решения квадратной системы линейных уравn нений методом Гаусса заключается в том, что исходную квадратn ную систему из n линейных уравнений с n неизвестными переn менными необходимо преобразовать к треугольному виду. С этой целью в одном из уравнений системы оставляют все неизвестные переменные. В другом уравнении сокращают одну из неизвестn ных переменных для того, чтобы число неизвестных стало (n −1).

В следующем уравнении сокращают две неизвестные переn менные, чтобы число переменных стало (n − 2). В конце данного

 

процесса система примет треугольный вид, первое уравнение коn торой содержит все неизвестные, а последнее — только одну. В последнем уравнении системы остается (n − (n − 1)) неизвестn

 

ных переменных, т. е. одна неизвестная переменная, которая наn зывается базисной. Дальнейшее решение сводится к выражению свободных (n −1) неизвестных переменных через базисную переn

 

менную и получению общего решения квадратной системы лиn нейных уравнений.