Метод найменших квадратів
У процесі вивчення різних питань природознавства, економіки і техніки, соціології, педагогіки доводиться на основі великої кількості дослідних даних виявляти суттєві фактори, які впливають на досліджуваний об’єкт, а також встановлювати форму зв’язку між різними зв’язаними одна з одною величинами (ознаками).
Нехай у результаті досліджень дістали таку таблицю деякої функціональної залежності:
Таблиця 1
| x | x1 | x2 | … | xn |
| y | y1 | y2 | … | yn |
Треба знайти аналітичний вигляд функції 
, яка добре відображала б цю таблицю дослідних даних. Функцію можна шукати у вигляді інтерполяційного поліному. Але інтерполяційні поліноми не завжди добре відображають характер поведінки таблично заданої функції. До того ж значення 
дістають у результаті експерименту, а вони, як правило, сумнівні. У цьому разі задача інтерполювання табличної функції втрачає сенс. Тому шукають таку функцію 
, значення якої при 
досить близькі до табличних значень $IMAGE6$ $IMAGE7$. Формулу називають емпіричною, або рівнянням регресії $IMAGE9$ на $IMAGE10$. Емпіричні формули мають велике практичне значення, вдало підібрана емпірична формула дає змогу не тільки апроксимувати сукупність експериментальних даних, «згладжуючи» значення величини $IMAGE9$, а й екстраполювати знайдену залежність на інші проміжки значень $IMAGE10$.
Процес побудови емпіричних формул складається з двох етапів: встановлення загального виду цієї формули і визначення найкращих її параметрів.
Щоб встановити вигляд емпіричної формули, на площині будують точки з координатами $IMAGE13$ $IMAGE7$. Деякі з цих точок сполучають плавною кривою, яку проводять так, щоб вона проходила якомога ближче до всіх даних точок. Після цього візуально визначають, графік якої з відомих нам функцій найкраще підходить до побудованої кривої. Звичайно, намагаються підібрати найпростіші функції: лінійну, квадратичну, дробово-раціональну, степеневу, показникову, логарифмічну.
Встановивши вигляд емпіричної формули, треба знайти її параметри (коефіцієнти). Найточніші значення коефіцієнтів емпіричної формули визначають методом найменших квадратів. Цей метод запропонували відомі математики К. Гаусс і А. Лежандр.
Розглянемо суть методу найменших квадратів.
Нехай емпірична формула має вигляд
$IMAGE15$, (1)
де $IMAGE16$, $IMAGE17$, …, $IMAGE18$ - невідомі коефіцієнти. Треба знайти такі значення коефіцієнтів $IMAGE19$, за яких крива (1) якомога ближче проходитиме до всіх $IMAGE20$ точок $IMAGE21$, $IMAGE22$, …, $IMAGE23$, знайдених експериментально. Зрозуміло, що жодна з експериментальних точок не задовольняє точно рівняння (1). Відхилення від підстановки координат $IMAGE13$ у рівняння (1) дорівнюватимуть величинам $IMAGE25$.
За методом найменших квадратів найкращі значення коефіцієнтів $IMAGE26$ ті, для яких сума квадратів відхилень
$IMAGE27$ (2)
дослідних даних $IMAGE6$ від обчислених за емпіричною формулою (1) найменша. Звідси випливає, що величина (2), яка є функцією від коефіцієнтів $IMAGE26$, повинна мати мінімум. Необхідна умов мінімуму функції багатьох змінних ─ її частинні похідні мають дорівнювати нулю, тобто
$IMAGE30$, $IMAGE31$, …, $IMAGE32$.
Диференціюючи вираз (2) по невідомих параметрах $IMAGE26$, матимемо відносно них систему рівнянь:
$IMAGE34$ $IMAGE35$
Система (3) називається нормальною. Якщо вона має розв’язок, то він єдиний, і буде шуканим.
Якщо емпірична функція (1) лінійна відносно параметрів $IMAGE26$, то нормальна система (3) буде системою з $IMAGE37$ лінійних рівнянь відносно шуканих параметрів.
Будуючи емпіричні формули, припускатимемо, що експериментальні дані $IMAGE38$ додатні.
Якщо серед значень $IMAGE39$ і $IMAGE6$ є від’ємні, то завжди можна знайти такі додатні числа $IMAGE41$ і $IMAGE42$, що $IMAGE43$ і $IMAGE44$.
Тому розв’язування поставленої задачі завжди можна звести до побудови емпіричної формули для додатних значень $IMAGE45$.
Побудова лінійної емпіричної формули. Нехай між даними $IMAGE38$ існує лінійна залежність. Шукатимемо емпіричну формулу у вигляді
$IMAGE47$, (4)
де коефіцієнти $IMAGE48$ і $IMAGE49$невідомі.
Знайдемо значення $IMAGE48$і $IMAGE49$, за яких функція $IMAGE52$матиме мінімальне значення. Щоб знайти ці значення, прирівняємо до нуля частинні похідні функції $IMAGE53$
$IMAGE54$
Звідси, врахувавши, що $IMAGE55$, маємо
$IMAGE56$ (5)
Розв’язавши відносно $IMAGE48$ і $IMAGE49$ останню систему, знайдемо
$IMAGE59$, (6)
$IMAGE60$. (7)
Зазначимо, що, крім графічного, є ще й аналітичний критерій виявлення лінійної залежності між значеннями $IMAGE10$ і $IMAGE9$.
Покладемо $IMAGE63$, $IMAGE64$, $IMAGE65$.
Якщо $IMAGE66$, то залежність між $IMAGE10$ і $IMAGE9$ лінійна, бо точки $IMAGE69$ лежатимуть на одній прямій. Якщо $IMAGE70$, то між $IMAGE10$ і $IMAGE9$ існує майже лінійна залежність, оскільки точки $IMAGE69$ лежатимуть близько до деякої прямої.
Побудова квадратичної емпіричної залежності. Нехай функціональна залежність між $IMAGE10$ та $IMAGE9$ - квадратична. Шукатимемо емпіричну формулу у вигляді
$IMAGE76$. (8)
Тоді формулу (2) запишемо наступним чином
$IMAGE77$
Для знаходження коефіцієнтів $IMAGE48$, $IMAGE49$, $IMAGE80$, за яких функція $IMAGE81$ мінімальна, обчислимо частинні похідні $IMAGE82$, $IMAGE83$, $IMAGE84$ і прирівняємо їх до нуля. В результаті дістанемо систему рівнянь
$IMAGE85$
Після рівносильних перетворень маємо систему
$IMAGE86$ (9)
Розв’язок цієї системи і визначає єдину параболу, яка краще від усіх інших парабол (8) подає на розглядуваному проміжку задану таблично функціональну залежність.
Сформулюємо аналітичний критерій для квадратичної залежності. Для цього введемо поділені різниці першого і другого порядку $IMAGE87$
і $IMAGE88$, де $IMAGE89$.
Точки $IMAGE69$ розміщені на параболі (8) тоді і тільки тоді, коли всі поділені різниці другого порядку зберігають сталі значення.
Якщо точки $IMAGE91$ рівновіддалені, тобто $IMAGE92$, то для існування квадратичної залежності (8) необхідно і достатньо, щоб була сталою скінчена різниця другого порядку $IMAGE93$, причому $IMAGE94$.
Побудова емпіричних формул найпростіших нелінійних залежностей. Нехай у системі координат $IMAGE95$ маємо нелінійну залежність $IMAGE96$, неперервну і монотонну на відрізку $IMAGE97$.
Введемо змінні $IMAGE98$, $IMAGE99$ так, щоб у новій системі координат $IMAGE100$ задана емпірична нелінійна залежність стала лінійною
$IMAGE101$. (10)
Тоді точки з координатами $IMAGE102$ в площині $IMAGE100$ лежатимуть на прямій лінії.
Покажемо, як від нелінійних залежностей
$IMAGE104$, 2) $IMAGE105$, 3) $IMAGE106$,
$IMAGE107$, 5) $IMAGE108$, 6) $IMAGE109$
перейти до лінійних.
1) Розглянемо степеневу залежність $IMAGE104$, де $IMAGE111$, $IMAGE112$, $IMAGE113$.
Логарифмуючи її, знаходимо $IMAGE114$. Звідси, поклавши $IMAGE115$, $IMAGE116$, $IMAGE117$, $IMAGE118$, маємо $IMAGE101$.
2) Логарифмуючи показникову залежність $IMAGE105$, маємо $IMAGE121$. Поклавши $IMAGE116$, $IMAGE123$, $IMAGE124$, $IMAGE117$ в системі координат $IMAGE100$ дістанемо залежність (10).
Зазначимо, що замість показникової залежності $IMAGE105$ часто шукають залежність $IMAGE128$. Остання перетвориться в лінійну, якщо позначити $IMAGE123$, $IMAGE116$, $IMAGE117$, $IMAGE118$.
3) Щоб перейти від логарифмічної залежності $IMAGE106$ до лінійної $IMAGE134$, досить зробити підстановку $IMAGE135$, $IMAGE115$.
4) У гіперболічній залежності замінимо змінні $IMAGE137$, $IMAGE138$. Тоді гіперболічна залежність перетвориться в лінійну (10), в якій $IMAGE139$, $IMAGE140$.
5) Розглянемо дробово-лінійну функцію $IMAGE108$. Знайдемо обернену функцію $IMAGE142$. Тоді ввівши нові координати $IMAGE143$, $IMAGE123$, дістанемо лінійну залежність (10), де $IMAGE139$, $IMAGE140$.
6) Нехай маємо дробово-раціональну залежність $IMAGE109$. Оберненою до неї буде залежність $IMAGE148$. Ввівши нові змінні $IMAGE143$, $IMAGE150$, дістанемо лінійну залежність (10) з коефіцієнтами $IMAGE118$, $IMAGE152$.
Отже, для побудови будь-якої з емпіричних формул 1)-6) треба:
а) за вихідною таблицею даних $IMAGE69$ побудувати нову таблицю $IMAGE154$, використавши відповідні формули переходу до нових координат;
б) за новою таблицею даних знайти методом найменших квадратів коефіцієнти $IMAGE155$ і $IMAGE156$ лінійної функції (10);
в) за відповідними формулами знайти коефіцієнти $IMAGE48$ і $IMAGE49$ даної нелінійної залежності.
Вибрати емпіричну формулу для нелінійних залежностей графічним методом часто буває важко. Тоді вдаються до перевірки аналітичних критеріїв існування певної залежності. Для цього зводять її до лінійної і перевіряють виконання критерію лінійної залежності між перетвореними вихідними даними $IMAGE154$. Але є й власні аналітичні критерії наявності кожної з розглянутих вище нелінійних залежностей. Найпростіші необхідні умови їх наявності подано в табл. 2.
Таблиця 2
| № пор. | Емпірична формула | $IMAGE160$ | $IMAGE161$ | Спосіб вирівнювання |
| 1 | $IMAGE47$ | $IMAGE163$ | $IMAGE164$ | |
| 2 | |