Реферат на тему Системы нормальных уравнений полного и неполного ранга. Оценки неизвестных параметров в случае системы неполного ранга

Содержание:

ВВЕДЕНИЕ 2
1. Формулировка линейной модели 3
2. Метод наименьших квадратов 3
3. Обычные наименьшие квадраты 5
4. Диагонализация матрицы и нормальное решение системы 6
5. Нахождение решений уравнений неполного ранга 7
ВЫВОД 11
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 13

Введение:

Процедура решения одновременных линейных уравнений, теперь называемая исключением Гаусса, содержится в древнем китайском математическом тексте. Глава восьмая: Прямоугольные массивы из девяти глав по математическому искусству. Его использование иллюстрируется восемнадцатью задачами, с двумя-пятью уравнениями.
Системы линейных уравнений возникли в Европе с введением в 1637 году Рене Декартом координат в геометрии. Фактически, в этой новой геометрии, называемой теперь декартовой геометрией, линии и плоскости представлены линейными уравнениями, и вычисление их пересечений сводится к решению систем линейных уравнений.
В первых систематических методах решения линейных систем использовались детерминанты, впервые рассмотренные Лейбницем в 1693 году. В 1750 году Габриэль Крамер использовал их для предоставления явных решений линейных систем, которые теперь называются правилом Крамера. Позже Гаусс далее описал метод исключения, который первоначально был указан как прогресс в геодезии.
В 1844 году Герман Грассманн опубликовал свою «Теорию расширения», в которую вошли новые фундаментальные темы того, что сегодня называется линейной алгеброй. В 1848 году Джеймс Джозеф Сильвестр ввел термин «матрица», что в переводе с латыни означает «матка».
Артур Кейли ввел матричное умножение и обратную матрицу в 1856 году, сделав возможной общую линейную группу. Механизм группового представления стал доступен для описания сложных и гиперкомплексных чисел. Важно отметить, что Кейли использовал одну букву для обозначения матрицы, рассматривая матрицу как совокупный объект. Он также осознал связь между матрицами и определителями и написал: «Об этой теории матриц можно сказать много вещей, которые, как мне кажется, должны предшествовать теории определителей».
Бенджамин Пирс опубликовал свою «Линейную ассоциативную алгебру» (1872), а позже его сын Чарльз Сандерс Пирс расширил работу.
Телеграфу требовалась пояснительная система, а в 1873 году в публикации «Трактата об электричестве и магнетизме» была создана теория силовых полей и требовалась дифференциальная геометрия для выражения. Линейная алгебра является плоской дифференциальной геометрией и служит в касательных пространствах к многообразиям. Электромагнитные симметрии пространства-времени выражаются преобразованиями Лоренца, и большая часть истории линейной алгебры — это история преобразований Лоренца.
Первое современное и более точное определение векторного пространства было введено Пеано в 1888 году; к 1900 году появилась теория линейных преобразований конечномерных векторных пространств. Линейная алгебра приняла свою современную форму в первой половине двадцатого века, когда многие идеи и методы предыдущих веков были обобщены как абстрактная алгебра. Развитие компьютеров привело к расширению исследований в области эффективных алгоритмов исключения Гаусса и разложения матриц, и линейная алгебра стала важным инструментом для моделирования и симуляции.

Фрагмент текста работы:

1. Формулировка линейной модели

Предположим, у нас есть переменная β, которая зависит от переменных α1,…,αn и что мы хотим описать эту функциональную зависимость, учитывая набор наблюдаемых значений β и α1,…,αn. Предположим, у нас есть основания полагать, что зависимость β от α1 ,…, αn является линейным, что приводит нас к постулату линейной модели
 
Наша цель — определить неизвестные коэффициенты x1,…,xn, так что полученная линейная модель (1) «в некотором смысле лучше всего соответствует» нашим наблюдаемым данным. Замечание: хотя модель в (1) линейна по α1,…,αn, в некоторых приложениях эти переменные сами могут быть нелинейными функциями других переменных. Например, если мы хотим смоделировать β с полиномом от некоторой переменной t, то мы могли бы взять модель за
 
для некоторого n, который имеет вид (1) с αi = ti−1 для каждого i.

2. Метод наименьших квадратов

Метод наименьших квадратов является стандартным подходом в регрессионном анализе для аппроксимации решения переопределенных систем (наборов уравнений, в которых больше уравнений, чем неизвестных) путем минимизации суммы квадратов невязок, сделанных в результатах каждого уравнения.
Самым важным приложением является сбор данных. Наилучшее соответствие в смысле наименьших квадратов сводит к минимуму сумму квадратов невязок (остаточное значение: разность между наблюдаемой величиной и подобранной величиной, предоставленной моделью). Когда проблема имеет существенную неопределенность в независимой переменной (переменная x), тогда у простых методов регрессии и метода наименьших квадратов возникают проблемы; в таких случаях вместо методики наименьших квадратов можно рассмотреть методологию, необходимую для подбора моделей ошибок в переменных.
Задачи наименьших квадратов делятся на две категории: линейные или обычные наименьшие квадраты и нелинейные наименьшие квадраты, в зависимости от того, являются ли невязки линейными во всех неизвестных. Линейная задача наименьших квадратов возникает в статистическом регрессионном анализе; оно имеет решение в закрытой форме. Нелинейная задача обычно решается путем итеративного уточнения; на каждой итерации система аппроксимируется линейной, и, таким образом, расчет ядра в обоих случаях одинаков.
Полиномиальные наименьшие квадраты описывают дисперсию в предсказании зависимой переменной как функцию независимой переменной и отклонения от подгоночной кривой.
Когда наблюдения происходят из экспоненциального семейства и выполняются мягкие условия, оценки наименьших квадратов и оценки максимального правдоподобия идентичны.
Метод наименьших квадратов также может быть выведен как метод оценки моментов.
Первое четкое и краткое изложение метода наименьших квадратов было опубликовано Лежандром в 1805 году. [5] Техника описывается как алгебраическая процедура для подгонки линейных уравнений к данным, и Лежандр демонстрирует новый метод, анализируя те же данные, что и Лаплас, для формы земли. Ценность метода наименьших квадратов Лежандра была немедленно признана ведущими астрономами и геодезистами того времени.
В 1809 году Карл Фридрих Гаусс опубликовал свой метод расчета орбит небесных тел. В этой работе он утверждал, что владеет методом наименьших квадратов с 1795 года. Это, естественно, привело к спору о приоритете с Лежандром. Однако, к чести Гаусса, он вышел за пределы Лежандра и сумел соединить метод наименьших квадратов с принципами вероятности и нормального распределения. Ему удалось завершить программу Лапласа, указав математическую форму плотности вероятности для наблюдений в зависимости от конечного числа неизвестных параметров, и определить метод оценки, который минимизирует ошибку оценки. Гаусс показал, что среднее арифметическое действительно является наилучшей оценкой параметра местоположения путем изменения как плотности вероятности, так и метода оценки. Затем он перевернул проблему, спросив, какую форму должна иметь плотность и какой метод оценки следует использовать для получения среднего арифметического в качестве оценки параметра местоположения. В этой попытке он изобрел нормальное распределение.
Ранняя демонстрация силы метода Гаусса пришла, когда он использовался, чтобы предсказать будущее местоположение недавно обнаруженного астероида Церера. 1 января 1801 года итальянский астроном Джузеппе Пьяцци открыл Цереру и смог проследить его путь в течение 40 дней, прежде чем он был потерян в лучах солнца. Основываясь на этих данных, астрономы хотели определить местоположение Цереры после ее появления из-за Солнца, не решая сложных нелинейных уравнений движения планет Кеплера. Единственные прогнозы, которые позволили венгерскому астроному Францу Ксаверу фон Заку переместить Цереру, были предсказания, выполненные 24-летним Гауссом с использованием анализа методом наименьших квадратов.
В 1810 году, прочитав работу Гаусса, Лаплас, доказав центральную предельную теорему, использовал ее, чтобы дать большое примерное обоснование для метода наименьших квадратов и нормального распределения.
В 1822 году Гаусс смог утверждать, что подход наименьших квадратов к регрессионному анализу является оптимальным в том смысле, что в линейной модели, где ошибки имеют среднее значение, равное нулю, некоррелированные и имеют равные отклонения, лучшая линейная несмещенная оценка коэффициенты — это метод наименьших квадратов. Этот результат известен как теорема Гаусса – Маркова.
Идея анализа наименьших квадратов была также независимо сформулирована американцем Робертом Адрэйном в 1808 году. В течение следующих двух столетий работники теории ошибок и статистики нашли много разных способов реализации наименьших квадратов [6].
Предположим, мы обозначаем наши наблюдаемые данные следующим образом:
Для