Вероятностно-статистический подход к методу наименьших квадратов

ВЕРОЯТНОСТНО-СТАТИСТИЧЕСКИЙ ПОДХОД К МЕТОДУ НАИМЕНЬШИХ КВАДРАТОВ

Широкое и часто формальное применение метода наименьших квадратов (МНК) при оценивании параметров моделей процессов в различных областях естествознания заставляет более подробно ис-следовать основные положения возникновения и использования дан-ного метода. В работе, на примере линейной множественной регрес-сионной модели, описывается вероятностно-статистический подход в оценке параметров модели с помощью МНК. Он позволил получить ряд общих вероятностных и статистических формул для оценок пара-метров модели вне зависимости от допустимого совместного распре-деления исследуемых величин, глубже оценить риски в оценке пара-метров, связанные с неточностями задания модели, указать место и роль знания теоретического и эмпирического распределения ошибок измерения.

1. Постановка задачи

На практике часто с помощью экспериментального наблюдения исследуется зависимость

y = g(x)        (1)

неслучайных     количественных     показателей     некоторого     объекта, переменной     “отклика”      y       2       R1         от     факторной     переменной x = (x1;:::;xm)T 2 Rm . При этом разным вариантам проведения экс-перимента (активный или пассивный) соответствует своя природа ис-кажения наблюдаемых показателей и, соотвественно, методы обработ-ки экспериментальных данных. Для пассивного эксперимента харак-терно неуправляемое изменение значений факторов от опыта к опыту, в то время как при активном эксперименте значения факторов для каждого опыта выбираются исследователем. Если значение какого-либо фактора не изменяется от опыта к опыту, то его значение (без уменьшения общности) можно считать равным единице. Примером такого фактора может являться наличие систематической ошибки при

проведении эксперимента.

В любом случае для установления зависимости (1) проводят экс-перимент с большим числом n опытов и статистические данные со-стоят из множества наблюдавшихся значений факторов и соответству-ющих значений “откликов” и имеют вид (xi1;:::;xim; yi); i = 1;:::;n.

35

Однако из-за присутствия случайности при проведении опыта каждо-му вектору значений xi факторов соответствует в общем случае мно-жество значений yij        зависимой переменной. Все это позволяет ин-терпретировать экспериментально исследуемую зависимость (1) как стохастическую, а наблюдаемые величины x; y(x) как случайные величины (с.в.)  = (1;:::;m)T ;j, с функциями плотности рас-пределения f(x); fj(yjx), соответственно. В дальнейшем ограни-чимся рассмотрением лишь абсолютно непрерывных либо дискрет-ных распределений и используем общее обозначение f(x;y) для совместной плотности — в первом случае и совместной вероятности Pf = x;  = yg — во втором, называя в любом случае функцию f(x;y) плотностью, определяемой в абсолютно непрерывном случае как f(x;y) = fj(yjx)f(x):

При таких условиях одним из способов определения исходной за-висимости (1) является использование следующих фактов: во-первых, искомое истинное значение y (1) при заданном x находится в “цен-тре” распределения значений условной с.в. j и может быть при-ближено, например, ее условным математическим ожиданием (м.о.) E(j = x), называемым регрессией  на  и являющейся функци-ей от x; во-вторых, поиск или приближение неизвестной истинной функциональной зависимости g(x) (1) производится внутри парамет-ризованного семейства функций h(x;), где  = (1;:::;k)T 2 Rk .