## Многофакторная (множественная) линейная регрессия
![Многофакторная линейная регрессия](../Pictures/03_01.%20Многофакторная%20линейная%20регрессия.png)  
Для построения модели необходимо иметь данные экспериментальных исследований объекта, представленные в виде таблицы, где каждой комбинации значений входных факторов соответствует значение выходного фактора.  

| Номер эксперимента | $X_1$    | $X_2$    | ... | $X_k$    | $Y$   |
| ------------------ | -------- | -------- | --- | -------- | ----- |
| 1                  | $x_{11}$ | $x_{21}$ | ... | $x_{k1}$ | $y_1$ |
| 2                  | $x_{12}$ | $x_{22}$ | ... | $x_{k2}$ | $y_2$ |
| 3                  | $x_{13}$ | $x_{23}$ | ... | $x_{k3}$ | $y_3$ |
| ...                | ...      | ...      | ... | ...      | ...   |
| $m$                | $x_{1m}$ | $x_{2m}$ | ... | $x_{km}$ | $y_m$ |
  
$\overline{y}=\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3+...+\beta_kx_k$, где $x_1$, $x_2$, $x_3$ и т. д. - значения входной переменной, $\beta_0$, $\beta_1$, $\beta_2$, ..., $\beta_k$ - коэффициенты регрессии.  
Имеющиеся экспериментальные данные в виде комбинаций ($x_{1i}$, $x_{2i}$, $x_{3i}$, ..., $x_{ki}$, $y_i$) являются лишь ограниченной выборкой из общего числа состояний исследуемого объекта. Поэтому можно определить только оценки коэффициентов $\beta_0$, $\beta_1$, $\beta_2$, ..., которые обозначают соответственно $b_0$, $b_1$, $b_2$, $b_3$, ..., $b_k$.  
$\overline{y}=b_0+b_1x_1+b_2x_2+b_3x_3+...+b_kx_k$  
#### Матричный подход к определению коэффициентов регрессии
Запишем для нашего случая матрицы $X$, $Y$, $B$:  
```math
X=
\left[
	\begin{matrix}
	1 & x_{11} & x_{21} & x_{31} & ... & x_{k1} \\
	1 & x_{12} & x_{22} & x_{32} & ... & x_{k2} \\
	1 & x_{13} & x_{23} & x_{33} & ... & x_{k3} \\
	... & ... & ... & ... & ... & ... \\
	1 & x_{1m} & x_{2m} & x_{3m} & ... & x_{km} \\
	\end{matrix} 
\right]
```
В матрице $X$ все элементы 1 столбика равны единице. Будем считать это фиктивной входной переменной $X_0$ с постоянным значением.  
```math
Y=
\left[
	\begin{matrix}
	y_1 \\
	y_2 \\
	y_3 \\
	... \\
	y_m \\
	\end{matrix} 
\right]
```
  
```math
B=
\left[
	\begin{matrix}
	b_0 \\
	b_1 \\
	b_2 \\
	... \\
	b_k \\
	\end{matrix} 
\right]
```
Определим размерность этих матриц:
- $Y$ - вектор наблюдений ($m⋅1$)
- $X$ - матрица независимых переменных ($`m(k+1)`$)
- $B$ - вектор коэффициентов регрессии ($(k+1)⋅1$)
  
Правила умножения матриц и векторов требуют, чтобы они были **согласованными** и имели соответствующую размерность.  
Пусть $A$ - матрица размерностью $(n⋅p)$:
- На матрицу $A$ только слева может быть умножена матрица $B$ размерностью $(m⋅n)$: $B⋅A=(m⋅n⋅n⋅p)=C(m⋅p)$
- На матрицу $A$ только справа может быть умножена матрица $D$ размерностью $(p⋅q)$: $A⋅C=(n⋅p⋅p⋅q)=F(n⋅q)$
  
Следовательно, произведение $B⋅X$ не существует и множественная линейная регрессия может быть записана в виде $Y=X⋅B$  
Использование аппарата линейной алгебры позволяет получить общую формулу для определения вектора, содержащего коэффициенты регрессии: $B=(X'⋅X)^{-1}=X'⋅Y$, где $(X'⋅X)^{-1}$ - обратная матрица, $X'$ - транспонированная матрица.  
Определением коэффициентов регрессионной модели построение модели не заканчивается. Необходимо также определить адекватность и точность предлагаемой многофакторной модели.
#### Оценка адекватности и точности многофакторной линейной модели
**Адекватность модели** характеризует соответствие модели экспериментальным данным в статистическую значимость уравнения-регрессии. Адекватность регрессионной модели оценивается **коэффициентом Фишера**: $F_{расч}=\frac{\sum{^m_{i=1}}(\hat{y_i}-\overline{y})^2}{\sum{^m_{i=1}}(y_i-\hat{y})^2}$  
Расчетное значение коэффициента ($F_{расч}$) необходимо сравнить с табличным значением $F_{табл}(m,\alpha)$, где $m$ - общее количество экспериментальных наблюдений, $\alpha$ - уровень значимости.  
**Уровень значимости ($\alpha$)** - вероятность, с которой правильная гипотеза о модели может быть отвергнута как неправильная. Обычно в моделировании (и мы об этом уже говорили) используют значения $\alpha=0.05; 0.01$. Однако для многофакторных моделей табличное значение $F$-критерия зависит еще и от числа входных переменных.  
Если $F_{расч}>F_{табл}$, то модель считается адекватной, а регрессия статистически значимой. Если $F_{расч}<F_{табл}$, то регрессионная модель неадекватна и регрессия статистически незначима.  
Для оценки точности регрессионных моделей с несколькими входными переменными используется множественный коэффициент корреляции ($R^2$), который определяется по формуле: $R^2=\frac{\sum{^m_{i=1}}(\hat{y_i}-\overline{y})^2}{\sum{^m_{i=1}}(y_i-\hat{y})^2}$  
Отношение $R^2$ характеризует тесноту связи между выходной переменной и входными переменными. Область определения отношения $R^2$ лежит в пределах от 0 до 1.  
При $R^2=0$ выходной фактор $y$ линейно не зависит от входных факторов $x_1$, $x_2$, ..., $x_i$. Можно сказать, что корреляционная связь между выходным фактором и входными факторами отсутствует.  
При $R^2=1$ выходной фактор $y$ линейно зависит от входных факторов $x_1$, $x_2$, ..., $x_i$ - имеется в наличии сильная корреляционная связь.  
Чем выше значение $R^2$, тем теснее связь в модели между выходной переменной (фактором) и входными переменными (факторами), тем точнее, а следовательно лучше математическая модель.  
Если модель имеет низкое значение $R^2$, то она имеет низкую точность оценки и предсказания поведения или свойств объекта. Использовать такую модель для исследования, описания и предсказания объекта не рекомендуется. Из нескольких моделей для исследования выбирается та, у которой отношение $R^2$ имеет наибольшее значение.
## Линейные регрессионные модели с несколькими входными переменными
Если в результате расчета отношения $R^2$ множественная линейная регрессия признана недостаточно точной, переходят к исследованию более сложных моделей:
- Полинома с 1 независимой переменной: $y=b_0+b_1x+b_2x^2+b_3x^3$
- Полинома с несколькими независимыми переменными: $y=b_0+b_1x_1+b_2x_2+b_3x_1^2+b_4x_2^2+b_5x_1x_2$
- Обратной модели: $y=b_0+\frac{b_1}{x_1}+\frac{b_2}{x_2}+\frac{b_3}{x_3}+\frac{b_4}{x_4}$ или $y=b_0+\frac{b_1}{x_1}+\frac{b_2}{x_2}+\frac{b_3}{x_1^2}+\frac{b_4}{x_2^2}+\frac{b_4}{x_1x_2}$
- Комбинированной модели: $y=b_0+b_1x_1+b_2\sqrt{x}+b_3\ln{x}+b_4\exp(x)$ 
  
Исследователь сам может предложить вид многофакторной модели на основе анализа априорной информации. Оценка коэффициентов регрессии, критерия адекватности модели и множественного коэффициента корреляции осуществляется по формулам, рассмотренным ранее для "классической" множественной регрессии.