Введение
К решению систем линейных алгебраических уравнений приводятся многие задачи численного анализа.
Известное из курса высшей алгебры правило Крамера для решения систем линейных алгебраических уравнений практически невыгодно, так как требует слишком большого количества арифметических операций и записей. Поэтому было предложено много различных способов, более пригодных для практики.
Используемые практически методы решения систем линейных алгебраических уравнений можно разделить на две большие группы: так называемые точные методы и методы последовательных приближений. Точные методы характеризуются тем, что с их помощью принципиально возможно, проделав конечное число операций, получить точные значения неизвестных. При этом, конечно, предполагается, что коэффициенты и правые части системы известны точно, а все вычисления производятся без округлений. Чаще всего они осуществляются в два этапа. На первом этапе преобразуют систему к тому или иному простому виду. На втором этапе решают упрощенную систему и получают значения неизвестных.
Методы последовательных приближений характеризуются тем, что с самого начала задаются какими-то приближенными значениями неизвестных. Из этих приближенных значений тем или иным способом получают новые «улучшенные» приближенные значения. С новыми приближенными значениями поступают точно также и т.д. При выполнении определенных условий можно придти, вообще говоря, после бесконечного числа шагов. Рассмотрим два точных метода: метод ортогонализации и метод сопряженных градиентов.
1. Метод ортогонализации
1.1 Метод ортогонализации в случае симметрической матрицы
Пусть дана система
(1)
порядка n. Чтобы избежать в дальнейшем путаницы, над векторами поставим черточки. Решение системы будем разыскивать в виде
, (2)
где 
– n векторов, удовлетворяющих условиям
при 
(3)
Здесь рассматривается обычное скалярное произведение векторов в n-мерном векторном пространстве, т.е. если $IMAGE6$ и $IMAGE7$, то $IMAGE8$. Пусть такие векторы найдены. Как это делается, будет показано ниже. Рассмотрим скалярное произведение обеих частей системы (1) с $IMAGE9$
$IMAGE10$ (4)
Используя (2) получим:
$IMAGE11$ (5)
или, в силу выбора векторов $IMAGE12$,
$IMAGE13$. (6)
Итак, для определения коэффициентов $IMAGE14$ получили систему с треугольной матрицей. Определитель этой системы равен
$IMAGE15$ $IMAGE16$ $IMAGE17$. (7)
Следовательно, если $IMAGE18$, то $IMAGE14$ возможно найти и находятся они без труда.
Особенно легко определятся $IMAGE14$, если матрица А симметрическая. В этом случае, очевидно,
$IMAGE21$ (8)
и, следовательно,
$IMAGE22$=0 при $IMAGE23$. (9)
Тогда система для определения $IMAGE14$ примет вид
$IMAGE25$ (10)
и
$IMAGE26$. (11)
Метод можно обобщить. Пусть каким-то образом удалось найти систему 2n векторов $IMAGE27$ так, что
$IMAGE22$ =0 при $IMAGE29$. (12)
Умножая обе части равенства (1) на $IMAGE30$ и используя представление $IMAGE31$ через $IMAGE32$, как и ранее, получим:
$IMAGE33$. (13)
Опять получилась система линейных алгебраических уравнений с треугольной матрицей для определения $IMAGE14$. Несколько усложнив вычисления можно получить систему диагонального вида. Для этого построим три системы векторов $IMAGE35$, так что имеют место равенства:
$IMAGE36$ (14)
$IMAGE37$ (15)
$IMAGE38$ $IMAGE39$ (16)
Тогда
$IMAGE40$, (17)
так как при i<r
$IMAGE41$ (18)
и при i>r
$IMAGE42$ (19)
Таким образом,
$IMAGE43$ (20)
Остановимся подробнее на первом из описанных методов. Рассмотрим случай, когда матрица А симметрическая и положительно определенная. Последнее означает, что для любого вектора $IMAGE31$ квадратичная форма его компонент $IMAGE45$ больше или равна нулю, причем равенство нулю возможно в том и только том случае, если вектор $IMAGE31$ нулевой. Как мы видели ранее, нужно построить систему векторов , удовлетворяющих условиям
$IMAGE48$ =0 $IMAGE49$. (21)
Это построение можно осуществить следующим образом. Исходим из какой-то системы линейно независимых векторов $IMAGE50$, например из системы единичных векторов, направленных по координатным осям:
$IMAGE51$ (22)
Далее проводим «ортогонализацию». Принимаем $IMAGE52$ и ищем $IMAGE53$ в виде
$IMAGE54$. (23)
Из условия $IMAGE55$ находим:
$IMAGE56$ (24)
Ищем $IMAGE57$ в виде
$IMAGE58$. (25)
Условия $IMAGE59$ влекут за собой
$IMAGE60$ $IMAGE61$ (26)
Далее поступаем также.
Процесс будет осуществим, так как все $IMAGE62$. Это же обеспечит нам разрешимость системы для определения коэффициентов $IMAGE14$. Заметим, что в нашем случае это будет процесс настоящей ортогонализации, если в пространстве векторов ввести новое скалярное произведение при помощи соотношения
$IMAGE64$. (26)
Нетрудно проверить, что введенное таким способом скалярное произведение будет удовлетворять всем требованиям, которые к нему предъявляются.
При решении системы n уравнений по настоящей схеме требуется произвести
$IMAGE65$ (28)
операций умножения и деления.
1.2 Метод ортогонализации в случае несимметрической матрицы
В случае несимметрической матрицы процесс ортогонализации проводится точно также. Пусть векторы $IMAGE66$ уже построены. Тогда $IMAGE67$ ищется в виде
$IMAGE68$ (29)
Коэффициенты $IMAGE69$ определяются из системы
$IMAGE70$ (30)
Система в случае несимметрической матрицы будет треугольной.
Аналогично строится система «биортогональных» векторов, т.е. система 2n векторов, удовлетворяющих условию (12). При этом $IMAGE50$ – n произвольных линейно независимых векторов, а векторы строятся последовательно в виде
$IMAGE73$ (31)
Коэффициенты $IMAGE74$ находятся из системы
$IMAGE75$ (32)
Также поступаем, отыскивая коэффициенты $IMAGE76$ и $IMAGE77$, при построении систем векторов (14) и (15), удовлетворяющих условиям (16).
При этом получим две системы:
$IMAGE78$ (33)
из которых и определяем $IMAGE76$ и $IMAGE77$.
Остановимся еще на одном методе ортогонализации. Будем рассматривать строки матрицы А как векторы:
$IMAGE81$ (34)
Ортонормируем эту систему векторов. Первое уравнение системы делим на $IMAGE83$. При этом получим
$IMAGE84$ (35)
где
$IMAGE85$ (36)
Второе уравнение системы заменится на
$IMAGE86$ (37)
где
$IMAGE87$ (38)
Аналогично поступаем дальше. Уравнение с номером i примет вид
$IMAGE88$ (39)
где
$IMAGE89$
$IMAGE90$ (40)
Процесс будет осуществим, если система уравнений линейно независима. В результате мы придем к новой системе $IMAGE91$, где матрица С будет ортогональной, т.е. обладает свойством СС¢=I.
Таким образом, решение системы можно записать в виде
$IMAGE92$. (41)
Практически, вследствие ошибок округления, СС¢ будет отлична от единичной матрицы и может оказаться целесообразным произвести несколько итераций для системы $IMAGE93$.
2. Метод сопряженных градиентов
2.1 Первый алгоритм метода
Пусть требуется решить систему линейных алгебраических уравнений
$IMAGE94$ (1)
с положительно определенной матрицей A порядка n.
Рассмотрим функционал
$IMAGE95$, (2)
представляющий многочлен второго порядка относительно x1, x2, …, xn. Обозначим через $IMAGE96$ решение системы (1), т.е. $IMAGE97$. В силу симметричности и положительной определенности матрицы, имеем:
$IMAGE98$
При этом знак равенства возможен лишь при $IMAGE99$. Таким образом, задача решения уравнения (1) сводится к задаче отыскания вектора $IMAGE31$, обращающего в минимум функционал (2).
Для отыскания такого вектора применим следующий метод.
Пусть $IMAGE101$ – произвольный начальный вектор, а
$IMAGE102$ (4)
– вектор невязок системы. Покажем, что вектор невязок $IMAGE103$ имеет направление нормали к поверхности $IMAGE104$в точке $IMAGE105$. В самом деле, направление нормали совпадает с направлением быстрейшего изменения функции $IMAGE106$ в точке $IMAGE105$. Это направление мы найдем, если найдем среди векторов $IMAGE108$, для которых $IMAGE109$, такой вектор, что
$IMAGE110$
имеет наибольшее значение. Но
$IMAGE111$
Но среди векторов $IMAGE108$ постоянный длины $IMAGE113$ достигает максимального значения, если $IMAGE108$ имеет направление вектора $IMAGE103$ или ему противоположное. Утверждение доказано. Будем двигаться из точки $IMAGE101$ в направлении вектора $IMAGE103$ до тех пор, пока функция $IMAGE118$ достигает минимального значения. Это будет при $IMAGE119$, т.е. при
$IMAGE120$. (5)
Вектор
$IMAGE121$ (6)
и принимаем за новое приближение к решению.
В методе сопряженных градиентов следующее приближение $IMAGE122$ находится так. Через точку $IMAGE123$ проведем гиперплоскость (n-1) – го измерения
$IMAGE124$ (7)
и через $IMAGE125$ обозначим новую невязку системы
$IMAGE126$. (8)
Вектор $IMAGE125$ направлен по нормали к поверхности $IMAGE128$ в точке $IMAGE123$, а вектор $IMAGE103$ параллелен касательной плоскости в этой точке. Поэтому
$IMAGE131$. (9)
Гиперплоскость (7) проходит через точку $IMAGE132$, так как
$IMAGE133$.
При любом $IMAGE134$ вектор $IMAGE135$ параллелен некоторой нормальной плоскости к поверхности $IMAGE128$ в точке $IMAGE123$. Найдем среди них тот, который лежит в гиперплоскости (7), т.е. ортогонален к $IMAGE138$. Из условия ортогональности имеем:
$IMAGE139$,
или
$IMAGE140$. (10)
Вектор
$IMAGE141$ (11)
имеет направление нормали к сечению поверхности $IMAGE128$ гиперплоскости (7) в точке $IMAGE123$. Будем двигаться из точки $IMAGE123$ в направлении вектора $IMAGE145$ до тех пор, пока функция $IMAGE146$ достигнет минимума. Это будет при
$IMAGE147$. (12)
Вектор
$IMAGE148$
примем за новое приближение к решению $IMAGE96$ системы. Вектор невязок
$IMAGE150$ (13)
имеет направление нормали к поверхности $IMAGE151$ в точке $IMAGE122$. Покажем, что он будет ортогонален к $IMAGE103$ и $IMAGE125$. В самом деле, используя (9), (11), (12), (13), имеем:
$IMAGE155$
Рассмотрим гиперплоскость (n-2) – х измерений
$IMAGE156$, (14)
проходящую через точку $IMAGE122$. Эта гиперплоскость содержит и $IMAGE97$, так как мы ранее видели, что $IMAGE159$, а
$IMAGE160$.
Вектор $IMAGE161$ при любом $IMAGE134$ параллелен гиперплоскости (7), так как
$IMAGE163$.
Подберем $IMAGE134$ так, чтобы он был параллелен и гиперплоскости (14), т.е. потребуем ортогональности к вектору $IMAGE165$. Будем иметь:
$IMAGE166$,
или
$IMAGE167$ (15)
Вектор
$IMAGE168$ (16)
будет иметь направление нормали к сечению поверхности $IMAGE151$гиперплоскостью (14) в точке $IMAGE122$. Из точки $IMAGE122$ сместимся в направлении этого вектора так, чтобы функция $IMAGE172$ достигла минимального значения. Это будет при
$IMAGE173$, (17)
$IMAGE174$ (18)
примем за новое приближение к $IMAGE96$. Новый вектор невязок будет:
$IMAGE176$. (19)
Продолжая процесс, получим последовательности векторов $IMAGE177$, $IMAGE178$, $IMAGE179$, определяемые рекуррентными соотношениями:
$IMAGE180$ (20)
Для этих векторов имеют место следующие соотношения:
$IMAGE181$ (21)
$IMAGE182$ (22)
В самом деле, в силу самого построения при i¹j
$IMAGE183$
Далее, при i>j
$IMAGE184$
Если i=j+1, то правая часть равна нулю, в силу определения $IMAGE185$, если же i>j+1, то $IMAGE186$, по доказанному, и
$IMAGE187$.
Продолжая понижение индекса у вектора $IMAGE188$, через несколько шагов придем к скалярному произведению $IMAGE189$ (по определению $IMAGE190$). Таким образом, соотношения (21) доказаны. Для доказательства (22), в силу равноправия индексов i и j, предположим, что i>j. Тогда
$IMAGE191$.
Так как в n-мерном векторном пространства не может быть более n взаимно ортогональных векторов, то на некотором шаге $IMAGE192$ получим $IMAGE193$, т.е. $IMAGE32$ буде