Ортогональное дополнение. Метод наименьших квадратов

Прогресс изучения0 из 5

Отмечай теоремы кнопками ✓ (изучено) и ↻ (повторить)

Все теоремы темы5

Свойства ортогонального дополнения
Ортогональная проекция и расстояние до подпространства
Изоморфизм конечномерных евклидовых пространств
Метод наименьших квадратов. Нормальная система
Нормальное псевдорешение и псевдообратная матрица

теорема

Свойства ортогонального дополнения

Формулировка

Для подпространства $L$ $n$ -мерного евклидова пространства $V$ :

$L^\perp$ — подпространство и $\dim L^\perp = n - \dim L$ ;
$V = L\oplus L^\perp$ ;
$(L^\perp)^\perp = L$ ;
если $L = \operatorname{span}(a_1,\dots,a_k)$ , то $x\in L^\perp\iff(x,a_i) = 0$ при $i = 1,\dots,k$ .

Доказательство

Развернуть

Пусть $e_1,\dots,e_k$ — ортонормированный базис $L$ ; дополним его до ортонормированного базиса $e_1,\dots,e_n$ пространства $V$ . Так как $x_i = (x,e_i)$ , вектор $x$ ортогонален $L$ тогда и только тогда, когда $x_1 = \dots = x_k = 0$ , то есть

L^\perp = \operatorname{span}(e_{k+1},\dots,e_n).

Отсюда следуют п. 1 и 2. Аналогично $(L^\perp)^\perp = \operatorname{span}(e_1,\dots,e_k) = L$ .

Если $x$ ортогонален всем $a_i$ , то он ортогонален и их линейным комбинациям. $\blacksquare$

теорема

Ортогональная проекция и расстояние до подпространства

Формулировка

Ортогональная проекция вектора на подпространство существует и единственна.
Если $e_1,\dots,e_k$ — ортонормированный базис $L$ , то $\operatorname{pr}_Lx = \sum_{i=1}^k(x,e_i)e_i$ .
Если $a_1,\dots,a_k$ — произвольный базис $L$ , то $\operatorname{pr}_Lx = \sum c_ja_j$ , где коэффициенты — единственное решение системы

\sum_{j=1}^k(a_i,a_j)c_j = (x,a_i),\qquad i = 1,\dots,k.

Проекция — ближайший к $x$ вектор подпространства: $|x - u| > |x - \operatorname{pr}_Lx|$ при $u\in L$ , $u\ne\operatorname{pr}_Lx$ . Поэтому $\rho(x,L) = |x - \operatorname{pr}_Lx|$ .

Доказательство

Развернуть

Следует из $V = L\oplus L^\perp$ .
Вектор $z = x - \sum(x,e_i)e_i$ удовлетворяет $(z,e_j) = (x,e_j) - (x,e_j) = 0$ , то есть $z\in L^\perp$ .
Условие $x - \sum c_ja_j\perp a_i$ при всех $i$ — это указанная система. Её матрица — матрица Грама базиса, она невырождена, поэтому решение единственно.
Пусть $y = \operatorname{pr}_Lx$ , $z = x - y$ . Для $u\in L$ вектор $y - u$ лежит в $L$ и ортогонален $z$ , поэтому по теореме Пифагора

|x - u|^2 = |z|^2 + |y - u|^2 > |z|^2\quad\text{при}\ u\ne y.

$\blacksquare$

теорема

Изоморфизм конечномерных евклидовых пространств

Формулировка

Конечномерные евклидовы пространства изоморфны тогда и только тогда, когда их размерности равны. В частности, любое $n$ -мерное евклидово пространство изоморфно $\mathbb R^n$ со стандартным скалярным произведением.

Доказательство

Развернуть

Изоморфизм евклидовых пространств — в частности, изоморфизм линейных, поэтому размерности равны. Обратно, выберем ортонормированные базисы $e$ в $V$ и $f$ в $W$ и положим $\varphi\big(\sum x_ie_i\big) = \sum x_if_i$ . Это изоморфизм линейных пространств, а скалярное произведение в обоих пространствах равно $\sum x_iy_i$ в координатах ортонормированного базиса. $\blacksquare$

теорема

Метод наименьших квадратов. Нормальная система

Формулировка

$X$ — псевдорешение системы $AX = B$ тогда и только тогда, когда $X$ — решение нормальной системы

A^\mathsf{T}AX = A^\mathsf{T}B.

Нормальная система всегда совместна.
Если $\operatorname{rank}A = n$ (столбцы $A$ линейно независимы), псевдорешение единственно: $X = (A^\mathsf{T}A)^{-1}A^\mathsf{T}B$ .

Доказательство

Развернуть

Когда $X$ пробегает $\mathbb R^n$ , вектор $AX$ пробегает подпространство $L = \operatorname{Im}A$ , порождённое столбцами $A_1,\dots,A_n$ .

$|AX - B|$ минимально тогда и только тогда, когда $AX = \operatorname{pr}_LB$ , то есть $B - AX\perp L$ . Это равносильно $A_j^\mathsf{T}(B - AX) = 0$ для всех столбцов, то есть $A^\mathsf{T}(B - AX) = 0$ .
Проекция $\operatorname{pr}_LB$ лежит в $L$ , поэтому равна $AX_0$ для некоторого $X_0$ , и $X_0$ — решение нормальной системы.
Если $A^\mathsf{T}AX = 0$ , то $|AX|^2 = X^\mathsf{T}A^\mathsf{T}AX = 0$ , то есть $AX = 0$ , и $X = 0$ при независимых столбцах. Значит, $A^\mathsf{T}A$ невырождена. $\blacksquare$

теорема

Нормальное псевдорешение и псевдообратная матрица

Формулировка

Нормальное псевдорешение существует и единственно; это единственное псевдорешение, лежащее в $\operatorname{Im}A^\mathsf{T}$ — линейной оболочке строк $A$ .
Псевдообратная матрица $A^+$ существует и единственна.
Если $\operatorname{rank}A = n$ , то $A^+ = (A^\mathsf{T}A)^{-1}A^\mathsf{T}$ ; если $\operatorname{rank}A = m$ , то $A^+ = A^\mathsf{T}(AA^\mathsf{T})^{-1}$ ; если $A$ квадратная невырожденная, то $A^+ = A^{-1}$ .

Доказательство

Развернуть

Ядро. $AX = 0$ означает, что $X$ ортогонален всем строкам $A$ , поэтому $\operatorname{Ker}A = (\operatorname{Im}A^\mathsf{T})^\perp$ и $\mathbb R^n = \operatorname{Im}A^\mathsf{T}\oplus\operatorname{Ker}A$ .

Псевдорешения — это все $X$ с $AX = \operatorname{pr}_{\operatorname{Im}A}B$ , то есть множество $X_0 + \operatorname{Ker}A$ . Разложим $X_0 = X_1 + X_2$ , $X_1\in\operatorname{Im}A^\mathsf{T}$ , $X_2\in\operatorname{Ker}A$ . Тогда $X_1$ — псевдорешение, и для любого другого псевдорешения $X_1 + K$ , $0\ne K\in\operatorname{Ker}A$ , по теореме Пифагора $|X_1 + K|^2 = |X_1|^2 + |K|^2 > |X_1|^2$ . Два псевдорешения из $\operatorname{Im}A^\mathsf{T}$ различаются на вектор из $\operatorname{Im}A^\mathsf{T}\cap\operatorname{Ker}A = \{0\}$ .
Отображение $B\mapsto X_1$ — композиция ортогонального проектирования на $\operatorname{Im}A$ и обратного к ограничению $A|_{\operatorname{Im}A^\mathsf{T}}$ , которое взаимно однозначно отображает $\operatorname{Im}A^\mathsf{T}$ на $\operatorname{Im}A$ (ядро нулевое, размерности равны рангу). Значит, оно линейно, и его матрица — $A^+$ .
При $\operatorname{rank}A = n$ псевдорешение единственно (теорема о методе наименьших квадратов). При $\operatorname{rank}A = m$ система совместна при любом $B$ , и вектор $X = A^\mathsf{T}(AA^\mathsf{T})^{-1}B$ — её решение, лежащее в $\operatorname{Im}A^\mathsf{T}$ ; значит, это нормальное псевдорешение. Матрица $AA^\mathsf{T}$ невырождена по тем же соображениям, что и $A^\mathsf{T}A$ . $\blacksquare$

Базис ортогонального дополнения

Условие

Найти базис ортогонального дополнения подпространства $L = \operatorname{span}\big((1,1,0,0), (0,1,1,0)\big)$ в $\mathbb R^4$ .

Решение

Развернуть

$x\in L^\perp\iff x_1 + x_2 = 0,\ x_2 + x_3 = 0$ . Свободные неизвестные $x_3, x_4$ ; базис:

(1,-1,1,0),\qquad(0,0,0,1).

Проверка: $\dim L^\perp = 4 - 2 = 2$ .

Проекция вектора на подпространство и расстояние до него

Условие

Найти ортогональную проекцию вектора $x = (1,2,3,4)$ на $L = \operatorname{span}\big((1,1,0,0), (0,0,1,1)\big)$ и расстояние от $x$ до $L$ .

Решение

Развернуть

Базис $a_1, a_2$ ортогонален, $|a_i|^2 = 2$ , поэтому

\operatorname{pr}_Lx = \frac{(x,a_1)}2a_1 + \frac{(x,a_2)}2a_2 = \frac32(1,1,0,0) + \frac72(0,0,1,1) = \left(\frac32,\frac32,\frac72,\frac72\right).

Ортогональная составляющая $z = \left(-\frac12,\frac12,-\frac12,\frac12\right)$ , проверка: $(z,a_1) = (z,a_2) = 0$ . Расстояние $\rho(x,L) = |z| = 1$ .

Прямая, наилучшим образом приближающая данные

Условие

Методом наименьших квадратов найти прямую $y = a + bt$ по точкам $(0,1)$ , $(1,2)$ , $(2,2)$ , $(3,4)$ .

Решение

Развернуть

Несовместная система $a + bt_i = y_i$ имеет матрицу $A$ со строками $(1, t_i)$ . Нормальная система:

\begin{pmatrix}4&6\\6&14\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix} = \begin{pmatrix}9\\18\end{pmatrix},

так как $\sum t_i = 6$ , $\sum t_i^2 = 14$ , $\sum y_i = 9$ , $\sum t_iy_i = 18$ . Определитель $20$ , откуда $a = \frac{126 - 108}{20} = 0{,}9$ , $b = \frac{72 - 54}{20} = 0{,}9$ . Ответ: $y = 0{,}9 + 0{,}9t$ .

Нормальное псевдорешение несовместной системы

Условие

Найти нормальное псевдорешение системы $x + y = 1$ , $x + y = 2$ и псевдообратную матрицу.

Решение

Развернуть

$A = \begin{pmatrix}1&1\\1&1\end{pmatrix}$ , $A^\mathsf{T}A = \begin{pmatrix}2&2\\2&2\end{pmatrix}$ , $A^\mathsf{T}B = (3,3)^\mathsf{T}$ . Нормальная система сводится к $x + y = \frac32$ : это все псевдорешения.

Нормальное псевдорешение лежит в оболочке строк, то есть $x = y$ , поэтому $x = y = \frac34$ .

Для произвольного $B = (b_1,b_2)$ получаем $x = y = \frac{b_1 + b_2}4$ , то есть

A^+ = \frac14\begin{pmatrix}1&1\\1&1\end{pmatrix}.

0на повторение
0новых сегодня
0освоено

Как это работает

Упражнения собраны из теорем, определений и задач темы. Отвечать нужно касанием — печатать формулы не придётся:

узнать — дана формулировка без названия, выберите теорему;
пропуск — в формулировке пропущена формула, выберите верную среди похожих;
ошибка — в определении или формулировке одна формула искажена, нажмите на неё;
связи — отметьте, на что опирается доказательство;
порядок — соберите доказательство из перемешанных шагов;
в док-ве — восстановите формулу внутри доказательства;
задача — отметьте утверждения, которые нужны для решения; после ответа откроется решение.

Ответ проверяется сразу. Верные упражнения возвращаются всё реже — через дни, недели, месяцы (алгоритм FSRS), ошибки — ещё в этой же сессии. Если ответили наугад, нажмите «Угадал», и упражнение вернётся раньше. Сложные упражнения открываются, когда освоены простые: сначала узнать теорему, потом формулы, потом доказательство. Названия теорем в ответах можно нажать — теорема откроется в окне поверх страницы.

В день вводится не больше 15 новых упражнений темы. Теоремы, отмеченные кнопкой ↻, идут первыми. Прогресс хранится в этом браузере.

С клавиатуры: 1–9 выбрать · Enter проверить / дальше ·Backspace убрать последний шаг · Ctrl+Z отменить

Упражнения темы

новоезаучиваетсяна повторенииосвоенозакрыто

Ортогональное дополнение подпространства

Ортогональным дополнением подпространства $L$ евклидова пространства $V$ называется множество

L^\perp = \{x\in V:\ (x,y) = 0\ \text{для всех}\ y\in L\}.

Ортогональная проекция и ортогональная составляющая

Если $x = y + z$ , где $y\in L$ , $z\in L^\perp$ , то $y$ называется ортогональной проекцией вектора $x$ на $L$ ( $y = \operatorname{pr}_Lx$ ), а $z$ — его ортогональной составляющей относительно $L$ . Расстоянием от $x$ до $L$ называется $\rho(x,L) = \min_{u\in L}|x - u|$ .

Изоморфизм евклидовых пространств

Евклидовы пространства $V$ и $W$ изоморфны, если существует изоморфизм линейных пространств $\varphi\colon V\to W$ , сохраняющий скалярное произведение: $(\varphi x, \varphi y) = (x,y)$ .

Псевдорешение системы. Псевдообратная матрица

Пусть $A$ — матрица размера $m\times n$ , $B\in\mathbb R^m$ . Псевдорешением системы $AX = B$ называется столбец $X$ , при котором величина $|AX - B|$ минимальна (стандартная норма в $\mathbb R^m$ ). Нормальным псевдорешением называется псевдорешение наименьшей длины.

Псевдообратной (матрицей Мура–Пенроуза) называется матрица $A^+$ размера $n\times m$ такая, что $A^+B$ — нормальное псевдорешение системы $AX = B$ для любого $B$ .

Прямая сумма подпространств

Сумма $L_1 + L_2$ называется прямой ( $L_1\oplus L_2$ ), если каждый её вектор единственным образом представляется в виде $x = x_1 + x_2$ , $x_1\in L_1$ , $x_2\in L_2$ . Аналогично определяется прямая сумма $L_1\oplus\dots\oplus L_k$ нескольких подпространств.

Ортогональная и ортонормированная системы. Ортонормированный базис

Система векторов называется ортогональной, если её векторы попарно ортогональны, и ортонормированной, если, кроме того, все они имеют единичную длину: $(e_i,e_j) = \delta_{ij}$ . Базис, являющийся ортонормированной системой, называется ортонормированным базисом (ОНБ).

Матрица Грама

Матрицей Грама системы векторов $a_1,\dots,a_k$ называется матрица $\Gamma = \big((a_i,a_j)\big)_{i,j=1}^k$ , а её определитель $G(a_1,\dots,a_k)$ — определителем Грама.

Процесс ортогонализации Грама–Шмидта. Существование ортонормированного базиса

Формулировка

Пусть $a_1,\dots,a_k$ линейно независимы. Векторы

b_1 = a_1,\qquad b_m = a_m - \sum_{i=1}^{m-1}\frac{(a_m,b_i)}{(b_i,b_i)}b_i\quad(m = 2,\dots,k)

ненулевые, попарно ортогональны и $\operatorname{span}(b_1,\dots,b_m) = \operatorname{span}(a_1,\dots,a_m)$ при каждом $m$ . Векторы $e_i = b_i/|b_i|$ образуют ортонормированную систему. 2. В любом ненулевом конечномерном евклидовом пространстве существует ортонормированный базис. 3. Любую ортонормированную систему можно дополнить до ортонормированного базиса.

Доказательство

Развернуть

Индукция по $m$ . Пусть $b_1,\dots,b_{m-1}$ ненулевые, ортогональны и порождают $\operatorname{span}(a_1,\dots,a_{m-1})$ . При $j < m$

(b_m,b_j) = (a_m,b_j) - \frac{(a_m,b_j)}{(b_j,b_j)}(b_j,b_j) = 0.

Если $b_m = 0$ , то $a_m$ лежит в $\operatorname{span}(b_1,\dots,b_{m-1}) = \operatorname{span}(a_1,\dots,a_{m-1})$ , что противоречит независимости. Вектор $b_m$ выражается через $a_1,\dots,a_m$ , а $a_m$ — через $b_1,\dots,b_m$ , поэтому оболочки совпадают.

Применяем процесс к любому базису: получаем ортонормированную систему из $n$ векторов. Она линейно независима, а значит, это базис.
Дополним ортонормированную систему $e_1,\dots,e_k$ до базиса и применим процесс: первые $k$ векторов не изменятся, так как они уже ортонормированы. $\blacksquare$

Скалярное произведение в ортонормированном и произвольном базисах

Формулировка

В ортонормированном базисе $x_i = (x,e_i)$ , $(x,y) = \sum x_iy_i = X^\mathsf{T}Y$ , $|x|^2 = \sum x_i^2$ .
В произвольном базисе $e$ с матрицей Грама $\Gamma$ верно $(x,y) = X^\mathsf{T}\Gamma Y$ ; матрица $\Gamma$ симметрична. Если $e' = eT$ , то $\Gamma' = T^\mathsf{T}\Gamma T$ .

Доказательство

Развернуть

По билинейности $(x,y) = \big(\sum x_ie_i, \sum y_je_j\big) = \sum_{i,j}x_iy_j(e_i,e_j) = X^\mathsf{T}\Gamma Y$ . Симметричность следует из симметричности скалярного произведения. Подставив $X = TX'$ , $Y = TY'$ , получаем $X'^\mathsf{T}(T^\mathsf{T}\Gamma T)Y'$ ; по единственности матрицы билинейной функции $\Gamma' = T^\mathsf{T}\Gamma T$ .
В ОНБ $\Gamma = E$ . Умножая $x = \sum x_ie_i$ скалярно на $e_j$ , получаем $(x,e_j) = x_j$ . $\blacksquare$

Критерии прямой суммы. Дополнение подпространства

Формулировка

Для подпространств $L_1, L_2$ $L_{1}, L_{2}$ конечномерного пространства равносильны условия:
- сумма $L_1 + L_2$ прямая;
- $L_1\cap L_2 = \{0\}$ ;
- $\dim(L_1 + L_2) = \dim L_1 + \dim L_2$ ;
- объединение базисов $L_1$ и $L_2$ — базис $L_1 + L_2$ .
Для любого подпространства $L\subset V$ существует подпространство $M$ такое, что $V = L\oplus M$ .

Доказательство

Развернуть

1. Прямая $\Rightarrow$ пересечение нулевое. Если $0\ne z\in L_1\cap L_2$ , то $z = z + 0 = 0 + z$ — два разных разложения.

Пересечение нулевое $\Rightarrow$ прямая. Если $x_1 + x_2 = y_1 + y_2$ , то $x_1 - y_1 = y_2 - x_2\in L_1\cap L_2 = \{0\}$ .

Пересечение нулевое $\iff$ равенство размерностей — формула Грассмана.

Равенство размерностей $\iff$ объединение базисов — базис. Объединение базисов всегда порождает сумму и содержит $\dim L_1 + \dim L_2$ векторов; оно является базисом тогда и только тогда, когда это число равно $\dim(L_1 + L_2)$ .

2. Дополним базис $a_1,\dots,a_k$ подпространства $L$ до базиса $a_1,\dots,a_n$ пространства $V$ и положим $M = \operatorname{span}(a_{k+1},\dots,a_n)$ . Тогда $L + M = V$ , а объединение базисов $L$ и $M$ — базис, так что сумма прямая. $\blacksquare$

Канонический вид ортогонального оператора

Формулировка

Для любого ортогонального оператора существует ортонормированный базис, в котором его матрица блочно-диагональна с блоками вида $(1)$ , $(-1)$ и $R_\varphi$ , $0 < \varphi < \pi$ .

Доказательство

Развернуть

Инвариантность дополнения. Если $L$ инвариантно относительно $\mathcal Q$ , то $\mathcal Q(L) = L$ ( $\mathcal Q$ обратим, размерности равны), поэтому $L$ инвариантно и относительно $\mathcal Q^{-1} = \mathcal Q^*$ . Тогда $L^\perp$ инвариантно относительно $(\mathcal Q^*)^* = \mathcal Q$ .

Индукция по размерности. Существует инвариантное подпространство $L$ размерности $1$ или $2$ . Ограничение $\mathcal Q$ на $L$ и на $L^\perp$ — ортогональные операторы, и к $L^\perp$ применимо предположение индукции.

$\dim L = 1$ : $\mathcal Qx = \lambda x$ , $|\lambda| = 1$ , то есть блок $(\pm1)$ .
$\dim L = 2$ : в ортонормированном базисе $L$ матрица ограничения — $R_\varphi$ или $S_\varphi$ . В случае $S_\varphi$ плоскость раскладывается в два ортогональных собственных направления — два блока $(1)$ и $(-1)$ . Если $R_\varphi$ при $\varphi\in(\pi, 2\pi)$ , заменим второй базисный вектор на противоположный: получится $R_{2\pi - \varphi}$ . Случаи $\varphi = 0, \pi$ дают блоки $(1),(1)$ и $(-1),(-1)$ . $\blacksquare$

Ядро и образ сопряжённого оператора. Инвариантность ортогонального дополнения

Формулировка

$\operatorname{Ker}\mathcal A^* = (\operatorname{Im}\mathcal A)^\perp$ и $\operatorname{Im}\mathcal A^* = (\operatorname{Ker}\mathcal A)^\perp$ ; в частности, $\operatorname{rank}\mathcal A^* = \operatorname{rank}\mathcal A$ .
Если подпространство $L$ инвариантно относительно $\mathcal A$ , то $L^\perp$ инвариантно относительно $\mathcal A^*$ .

Доказательство

Развернуть

$y\in\operatorname{Ker}\mathcal A^*\iff(x, \mathcal A^*y) = 0\ \forall x\iff(\mathcal Ax, y) = 0\ \forall x\iff y\perp\operatorname{Im}\mathcal A$ . Применяя это к $\mathcal A^*$ (с учётом $(\mathcal A^*)^* = \mathcal A$ ), получаем $\operatorname{Ker}\mathcal A = (\operatorname{Im}\mathcal A^*)^\perp$ , и, переходя к ортогональным дополнениям, $\operatorname{Im}\mathcal A^* = (\operatorname{Ker}\mathcal A)^\perp$ .
Пусть $y\in L^\perp$ . Для любого $x\in L$ вектор $\mathcal Ax\in L$ , поэтому $(x, \mathcal A^*y) = (\mathcal Ax, y) = 0$ , то есть $\mathcal A^*y\in L^\perp$ . $\blacksquare$

Ортонормированный базис из собственных векторов самосопряжённого оператора

Формулировка

Для любого самосопряжённого оператора в конечномерном евклидовом пространстве существует ортонормированный базис из его собственных векторов. В этом базисе матрица оператора диагональна, а пространство раскладывается в прямую сумму попарно ортогональных собственных подпространств.

Доказательство

Развернуть

Индукция по $n = \dim V$ ; при $n = 1$ любой ненулевой вектор собственный. Пусть $n > 1$ . Характеристический многочлен имеет корень, и он вещественный, поэтому существует собственный вектор; нормируем его и обозначим $e_1$ .

Подпространство $L = \operatorname{span}(e_1)$ инвариантно, значит, $L^\perp$ размерности $n - 1$ тоже инвариантно, и ограничение $\mathcal A|_{L^\perp}$ самосопряжено. По предположению индукции в $L^\perp$ есть ортонормированный базис $e_2,\dots,e_n$ из собственных векторов. Векторы $e_1,\dots,e_n$ — искомый базис.

Собственные подпространства для разных собственных значений ортогональны, а их сумма — всё $V$ , так как содержит построенный базис. $\blacksquare$

Свойства нормы. Теорема Пифагора

Формулировка

$|x| = \sqrt{(x,x)}$ — норма; в частности, $|x + y|\le|x| + |y|$ . Следовательно, евклидово пространство — нормированное.
Угол между ненулевыми векторами определён корректно.
(Пифагор) Если $x\perp y$ , то $|x + y|^2 = |x|^2 + |y|^2$ .
(Равенство параллелограмма) $|x + y|^2 + |x - y|^2 = 2|x|^2 + 2|y|^2$ .

Доказательство

Развернуть

Положительность и однородность очевидны. Далее,

|x + y|^2 = |x|^2 + 2(x,y) + |y|^2\le|x|^2 + 2|x|\,|y| + |y|^2 = (|x| + |y|)^2

по неравенству Коши–Буняковского.

По тому же неравенству $\left|\frac{(x,y)}{|x||y|}\right|\le1$ .

3, 4. Раскрываем скобки: $|x\pm y|^2 = |x|^2\pm2(x,y) + |y|^2$ . $\blacksquare$

Свойства определителя Грама

Формулировка

$G(a_1,\dots,a_k)\ge0$ , причём $G = 0$ тогда и только тогда, когда $a_1,\dots,a_k$ линейно зависимы.
Матрица Грама любого базиса невырождена, и её определитель положителен.
Для двух векторов в $V_3$ величина $\sqrt{G(a,b)}$ равна площади параллелограмма, построенного на $a$ и $b$ .

Доказательство

Развернуть

Если $\sum_jc_ja_j = 0$ нетривиально, то $\sum_jc_j(a_i,a_j) = 0$ при всех $i$ : столбцы $\Gamma$ линейно зависимы, и $G = 0$ .

Пусть векторы независимы, $L = \operatorname{span}(a_1,\dots,a_k)$ , и $P$ — матрица, столбцы которой — координаты $a_j$ в ортонормированном базисе $L$ . Тогда $(a_i,a_j) =$ сумма произведений координат, то есть $\Gamma = P^\mathsf{T}P$ , и $G = (\det P)^2 > 0$ , так как столбцы $P$ независимы.

Частный случай п. 1.
$G(a,b) = |a|^2|b|^2 - (a,b)^2 = |a|^2|b|^2\sin^2\varphi$ . $\blacksquare$

Теорема Крамера

Формулировка

Если $\Delta = \det A \ne 0$ , то система $AX = B$ из $n$ уравнений с $n$ неизвестными имеет единственное решение

x_j = \frac{\Delta_j}{\Delta},\qquad j = 1, \dots, n,

где $\Delta_j$ — определитель матрицы, полученной из $A$ заменой $j$ -го столбца столбцом свободных членов $B$ .

Доказательство

Развернуть

Матричным методом $X = A^{-1}B = \frac{1}{\Delta}\tilde AB$ , где $\tilde A$ — присоединённая матрица, то есть

x_j = \frac1\Delta\sum_{i=1}^n A_{ij}b_i.

Сумма $\sum_i b_iA_{ij}$ — разложение $\Delta_j$ по $j$ -му столбцу: алгебраические дополнения элементов $j$ -го столбца у $A$ и у матрицы с заменённым столбцом одинаковы. $\blacksquare$

Изоморфизм конечномерных пространств

Формулировка

Изоморфизм переводит линейно зависимые системы в линейно зависимые, а независимые — в независимые; в частности, базис — в базис.
Любое $n$ -мерное пространство изоморфно $\mathbb R^n$ : изоморфизмом служит сопоставление вектору его координатного столбца в фиксированном базисе.
Конечномерные пространства изоморфны тогда и только тогда, когда их размерности равны.

Доказательство

Развернуть

$\varphi\big(\sum\lambda_ia_i\big) = \sum\lambda_i\varphi(a_i)$ , а $\varphi(x) = 0\iff x = 0$ , так как $\varphi(0) = 0$ и $\varphi$ инъективно. Поэтому нулевые линейные комбинации векторов $a_i$ и векторов $\varphi(a_i)$ одни и те же. Базис переходит в независимую систему, которая порождает $W$ в силу сюръективности.
Сопоставление $x\mapsto X$ биективно (существование и единственность координат) и сохраняет операции по координатным формулам.
Если $\varphi$ — изоморфизм, по п. 1 образ базиса $V$ — базис $W$ , поэтому $\dim V = \dim W$ . Обратно, оба пространства изоморфны $\mathbb R^n$ , а композиция изоморфизмов и обратный к изоморфизму — изоморфизмы. $\blacksquare$

Линейный оператор в координатах

Формулировка

Пусть $A$ — матрица отображения $\mathcal A$ в базисах $e, f$ . Тогда:

если $X$ — координатный столбец $x$ , то координатный столбец $\mathcal Ax$ равен $Y = AX$ ;
$\operatorname{rank}\mathcal A = \operatorname{rank}A$ ;
ядро $\mathcal A$ — это векторы, координаты которых удовлетворяют однородной системе $AX = 0$ .
Сопоставление отображению его матрицы — изоморфизм пространства линейных отображений $V\to W$ на $M_{m\times n}$ ; в частности, размерность этого пространства равна $mn$ .

Доказательство

Развернуть

$\mathcal Ax = \sum_jx_j\mathcal Ae_j = \sum_jx_j\sum_ia_{ij}f_i = \sum_i\Big(\sum_ja_{ij}x_j\Big)f_i$ .
$\operatorname{Im}\mathcal A$ порождается векторами $\mathcal Ae_j$ , координаты которых — столбцы $A$ . Размерность оболочки равна рангу матрицы из координатных столбцов.
Следует из п. 1.
Отображение «оператор $\mapsto$ матрица» линейно, а по теореме о задании оператора образами базиса оно биективно. $\blacksquare$

Ортогональное дополнение. Метод наименьших квадратов

Свойства ортогонального дополнения

Формулировка

Доказательство

Ортогональная проекция и расстояние до подпространства

Формулировка

Доказательство

Изоморфизм конечномерных евклидовых пространств

Формулировка

Доказательство

Метод наименьших квадратов. Нормальная система

Формулировка

Доказательство

Нормальное псевдорешение и псевдообратная матрица

Формулировка

Доказательство

Базис ортогонального дополнения

Условие

Решение

Проекция вектора на подпространство и расстояние до него

Условие

Решение

Прямая, наилучшим образом приближающая данные

Условие

Решение

Нормальное псевдорешение несовместной системы

Условие

Решение

Упражнения темы

Сессия завершена

Ортогональное дополнение подпространства

Ортогональная проекция и ортогональная составляющая

Изоморфизм евклидовых пространств

Псевдорешение системы. Псевдообратная матрица

Прямая сумма подпространств

Ортогональная и ортонормированная системы. Ортонормированный базис

Матрица Грама

Процесс ортогонализации Грама–Шмидта. Существование ортонормированного базиса

Формулировка

Доказательство

Скалярное произведение в ортонормированном и произвольном базисах

Формулировка

Доказательство

Критерии прямой суммы. Дополнение подпространства

Формулировка

Доказательство

Канонический вид ортогонального оператора

Формулировка

Доказательство

Ядро и образ сопряжённого оператора. Инвариантность ортогонального дополнения

Формулировка

Доказательство

Ортонормированный базис из собственных векторов самосопряжённого оператора

Формулировка

Доказательство

Свойства нормы. Теорема Пифагора

Формулировка

Доказательство

Свойства определителя Грама

Формулировка

Доказательство

Теорема Крамера

Формулировка

Доказательство

Изоморфизм конечномерных пространств

Формулировка

Доказательство

Линейный оператор в координатах

Формулировка

Доказательство