MS lek2

Лекция 2.   Точечное оценивание
2.1.   Параметрические семейства распределений
Предположим, что имеется выборка объема n, элементы которой 13 EMBED Equation.DSMT4 1415[ Cкачайте файл, чтобы посмотреть картинку ] независимы, одинаково распределены и имеют распределение F0, известным образом зависящее от неизвестного параметра [ Cкачайте файл, чтобы посмотреть картинку ].
Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсем ничего нельзя сказать. Обычно тип распределения ясен заранее, и требуется лишь указать значения параметров этого распределения.
Так, например, рост юношей одного возраста имеет нормальное распределение ( с неизвестными матожиданием и дисперсией) ; число звонков, поступающих на телефонную станцию в течение часа – распределение Пуассона с неизвестной «интенсивностью» [ Cкачайте файл, чтобы посмотреть картинку ]; время жизни электрической лампочки – экспоненциальное распределение с неизвестным средним временем жизни 13 EMBED Equation.DSMT4 1415 .
В этих примерах [ Cкачайте файл, чтобы посмотреть картинку ]– некий класс распределений, целиком определяющихся значением параметра [ Cкачайте файл, чтобы посмотреть картинку ]. Параметр [ Cкачайте файл, чтобы посмотреть картинку ] принимает значения из некоторого множества [ Cкачайте файл, чтобы посмотреть картинку ].
Например, для всех [ Cкачайте файл, чтобы посмотреть картинку ]
[ Cкачайте файл, чтобы посмотреть картинку ]имеют распределение Бернулли [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]– неизвестный параметр; здесь [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ];
[ Cкачайте файл, чтобы посмотреть картинку ]имеют равномерное распределение [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]– неизвестные параметры; здесь 13 INC
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
·
2.2.   Точечные оценки.
Итак, пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ],[ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из параметрического семейства распределений [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ].
Заметим, что все характеристики случайных величин [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ] зависят от параметра [ Cкачайте файл, чтобы посмотреть картинку ]. Так, например, для [ Cкачайте файл, чтобы посмотреть картинку ]с распределением Пуассона [ Cкачайте файл, чтобы посмотреть картинку ]

13 EMBED Equation.DSMT4 1415
[ Cкачайте файл, чтобы посмотреть картинку ]
Чтобы отразить эту зависимость, будем писать 13 EMBED Equation.DSMT4 1415 вместо 13 EMBED Equation.DSMT4 1415 и т.д. Так, [ Cкачайте файл, чтобы посмотреть картинку ]означает дисперсию, вычисленную в предположении [ Cкачайте файл, чтобы посмотреть картинку ].
  Во многих случаях такое обозначение оправдано. Предположим, что [ Cкачайте файл, чтобы посмотреть картинку ]имеют распределение Пуассона [ Cкачайте файл, чтобы посмотреть картинку ]. Из этого следует, при что [ Cкачайте файл, чтобы посмотреть картинку ] 13 EMBED Equation.DSMT4 1415, тогда как при [ Cкачайте файл, чтобы посмотреть картинку ] 13 EMBED Equation.DSMT4 1415
Определение.
Статистикой называется произвольная функция [ Cкачайте файл, чтобы посмотреть картинку ]от элементов выборки.
Замечание.
Статистика есть функция от эмпирических данных, но никак не от параметра [ Cкачайте файл, чтобы посмотреть картинку ]. Статистика, как правило, предназначена именно для оценивания неизвестного параметра [ Cкачайте файл, чтобы посмотреть картинку ] и поэтому от него зависеть не может.


2.3.   Метод нахождения точечных оценок: метод моментов
Метод моментов заключается в следующем: любой момент случайной величины Х зависит от параметра [ Cкачайте файл, чтобы посмотреть картинку ]. Но тогда и параметр [ Cкачайте файл, чтобы посмотреть картинку ] может оказаться функцией от теоретического [ Cкачайте файл, чтобы посмотреть картинку ]-го момента. Подставив в эту функцию вместо неизвестного теоретического [ Cкачайте файл, чтобы посмотреть картинку ]-го момента его выборочный аналог, получим вместо параметра [ Cкачайте файл, чтобы посмотреть картинку ] оценку [ Cкачайте файл, чтобы посмотреть картинку ].
Пример 1.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из распределения Пуассона [ Cкачайте файл, чтобы посмотреть картинку ] с неизвестным параметром [ Cкачайте файл, чтобы посмотреть картинку ]. Оценку для параметра [ Cкачайте файл, чтобы посмотреть картинку ] можно найти по первому моменту:13 EMBED Equation.DSMT4 1415, и [ Cкачайте файл, чтобы посмотреть картинку ]– оценка метода моментов.
 Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из параметрического семейства распределений [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]. Выберем некоторую функцию [ Cкачайте файл, чтобы посмотреть картинку ]так, чтобы существовал момент
13 EMBED Equation.DSMT4 1415
(3)

и функция [ Cкачайте файл, чтобы посмотреть картинку ] была обратима в области [ Cкачайте файл, чтобы посмотреть картинку ]. Заменим момент в левой части на выборочный момент, и в качестве оценки [ Cкачайте файл, чтобы посмотреть картинку ]для [ Cкачайте файл, чтобы посмотреть картинку ] возьмем корень уравнения 13 EMBED Equation.DSMT4 1415
Или
13 EMBED Equation.DSMT4 1415[ Cкачайте файл, чтобы посмотреть картинку ]
Чаще всего в качестве функции [ Cкачайте файл, чтобы посмотреть картинку ]берут [ Cкачайте файл, чтобы посмотреть картинку ]. В этом случае
13 EMBED Equation.DSMT4 1415
и, если функция [ Cкачайте файл, чтобы посмотреть картинку ] обратима в области [ Cкачайте файл, чтобы посмотреть картинку ], то
13 EMBED Equation.DSMT4 141513 EMBED Equation.DSMT4 141513 EMBED Equation.DSMT4 1415
Можно сказать, что мы берем в качестве оценки такое значение параметра [ Cкачайте файл, чтобы посмотреть картинку ], при котором истинный момент совпадает с выборочным.
Пример 2.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из равномерного на отрезке [ Cкачайте файл, чтобы посмотреть картинку ]распределения [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]. Найдем оценку метода моментов по первому моменту:
13 EMBED Equation.DSMT4 1415
Найдем оценку метода моментов по [ Cкачайте файл, чтобы посмотреть картинку ]-му моменту:
13 EMBED Equation.DSMT4 1415
тогда
13 EMBED Equation.DSMT4 1415
(4)

Замечание
Может случиться так, что [ Cкачайте файл, чтобы посмотреть картинку ], тогда как [ Cкачайте файл, чтобы посмотреть картинку ]. В этом случае оценку корректируют. Например, в качестве оценки метода моментов берут ближайшую к [ Cкачайте файл, чтобы посмотреть картинку ] точку из [ Cкачайте файл, чтобы посмотреть картинку ] или из замыкания [ Cкачайте файл, чтобы посмотреть картинку ].

Пример 3.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из нормального распределения 13 EMBED Equation.DSMT4 1415с неотрицательным средним [ Cкачайте файл, чтобы посмотреть картинку ]. Ищем оценку для 13 EMBED Equation.DSMT4 1415 по первому моменту:
13 EMBED Equation.DSMT4 1415
По условию [ Cкачайте файл, чтобы посмотреть картинку ], тогда как [ Cкачайте файл, чтобы посмотреть картинку ] может быть и отрицательно. Если [ Cкачайте файл, чтобы посмотреть картинку ], то в качестве оценки для [ Cкачайте файл, чтобы посмотреть картинку ] больше подойдет 0. Если же [ Cкачайте файл, чтобы посмотреть картинку ], в качестве оценки нужно брать [ Cкачайте файл, чтобы посмотреть картинку ]. Итак: [ Cкачайте файл, чтобы посмотреть картинку ]– «исправленная» оценка метода моментов.

2.4.   Состоятельность оценок метода моментов
Теорема .
Пусть [ Cкачайте файл, чтобы посмотреть картинку ]– оценка параметра [ Cкачайте файл, чтобы посмотреть картинку ], полученная по методу моментов, причем функция [ Cкачайте файл, чтобы посмотреть картинку ]непрерывна. Тогда [ Cкачайте файл, чтобы посмотреть картинку ]состоятельна.
Доказательство теоремы.
По ЗБЧ в форме Чебышева имеем:
13 EMBED Equation.DSMT4 1415
Поскольку функция [ Cкачайте файл, чтобы посмотреть картинку ]непрерывна, то и
13 EMBED Equation.DSMT4 1415

Замечание    Для обратимой, т.е. взаимно-однозначной функции [ Cкачайте файл, чтобы посмотреть картинку ] непрерывность [ Cкачайте файл, чтобы посмотреть картинку ] и непрерывность [ Cкачайте файл, чтобы посмотреть картинку ]эквивалентны.

2.5.   Метод нахождения точечных оценок: метод максимального правдоподобия
Метод максимального правдоподобия – еще один способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение [ Cкачайте файл, чтобы посмотреть картинку ], максимизирующее вероятность получить при [ Cкачайте файл, чтобы посмотреть картинку ] опытах данную выборку13 EMBED Equation.DSMT4 1415. Такая оценка параметра [ Cкачайте файл, чтобы посмотреть картинку ] называется оценкой максимального правдоподобия.
Сначала поймем, что такое «вероятность получить данную выборку», т.е. что нужно максимизировать. Вспомним, что для непрерывных распределений [ Cкачайте файл, чтобы посмотреть картинку ]их плотность [ Cкачайте файл, чтобы посмотреть картинку ]– «почти» (с точностью до [ Cкачайте файл, чтобы посмотреть картинку ]) вероятность попадания в точку [ Cкачайте файл, чтобы посмотреть картинку ]. А для дискретных распределений [ Cкачайте файл, чтобы посмотреть картинку ]вероятность попасть в точку [ Cкачайте файл, чтобы посмотреть картинку ]равна [ Cкачайте файл, чтобы посмотреть картинку ]. И то, и другое мы будем называть обобщенной плотностью распределения13 EMBED Equation.DSMT4 1415. Итак,
обобщенная плотность распределения
13 EMBED Equation.DSMT4 1415

Определение.
Функция ( случайная величина при фиксированном [ Cкачайте файл, чтобы посмотреть картинку ])
13 EMBED Equation.DSMT4 1415
называется функцией правдоподобия. Функция (тоже случайная)
13 EMBED Equation.DSMT4 1415
называется логарифмической функцией правдоподобия.
В дискретном случае функция правдоподобия 13 EMBED Equation.DSMT4 1415 есть вероятность выборке [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]в данной серии экспериментов равняться [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]. Эта вероятность меняется в зависимости от [ Cкачайте файл, чтобы посмотреть картинку ]:
[ Cкачайте файл, чтобы посмотреть картинку ]
Определение.
Оценкой максимального правдоподобия [ Cкачайте файл, чтобы посмотреть картинку ]неизвестного параметра [ Cкачайте файл, чтобы посмотреть картинку ] называют значение [ Cкачайте файл, чтобы посмотреть картинку ], при котором функция 13 EMBED Equation.DSMT4 1415 достигает максимума по [ Cкачайте файл, чтобы посмотреть картинку ] при фиксированных [ Cкачайте файл, чтобы посмотреть картинку ]:
13 EMBED Equation.DSMT4 1415
Замечание.
Поскольку функция [ Cкачайте файл, чтобы посмотреть картинку ]монотонна, то точки максимума 13 EMBED Equation.DSMT4 1415 и 13 EMBED Equation.DSMT4 1415 совпадают. Поэтому оценкой максимального правдоподобия можно называть точку максимума (по [ Cкачайте файл, чтобы посмотреть картинку ]) функции 13 EMBED Equation.DSMT4 1415
13 EMBED Equation.DSMT4 1415
Напомним, что точки экстремума функции – это либо точки, в которых производная обращается в нуль, либо точки разрыва функции или производной, либо крайние точки области определения ф-ции.
Пример 4.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема 13 EMBED Equation.DSMT4 1415из распределения Пуассона [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]. Найдем оценку максимального правдоподобия неизвестного параметра 13 EMBED Equation.DSMT4 1415.
[ Cкачайте файл, чтобы посмотреть картинку ]
13 EMBED Equation.DSMT4 1415
Поскольку эта функция при всех [ Cкачайте файл, чтобы посмотреть картинку ]непрерывно дифференцируема по [ Cкачайте файл, чтобы посмотреть картинку ], можно искать точки экстремума, приравняв к нулю частную производную по [ Cкачайте файл, чтобы посмотреть картинку ]. Но удобнее это делать для логарифмической функции правдоподобия:
13 EMBED Equation.DSMT4 1415
Тогда
13 EMBED Equation.DSMT4 1415
и точка 13 EMBED Equation.DSMT4 1415– решение уравнения: [ Cкачайте файл, чтобы посмотреть картинку ], 13 EMBED Equation.DSMT4 1415,-точка максимума ф-ции правдоподобия.

2.6. Неравенство Рао – Крамера
Если полученные разумным путем оценки как правило являются состоятельными, то свойство несмещенности – скорее исключение, чем правило. Означает это свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании данной оценки. Среди точечных оценок особый интерес представляют несмещенные оценки, разброс значений которых минимален, т.е. несмещенные оценки с минимальной дисперсией.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из параметрического семейства распределений [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]. Пусть13 EMBED Equation.DSMT4 1415– обобщенная плотность [ Cкачайте файл, чтобы посмотреть картинку ].
Пусть почти всюду по y

функция [ Cкачайте файл, чтобы посмотреть картинку ]непрерывно дифференцируема по [ Cкачайте файл, чтобы посмотреть картинку ]  ,13 EMBED Equation.DSMT4 1415

Замечание.
“ Почти всюду по y “ означает: для всех y, за исключением, может быть, множества точек меры 0.
Пусть, кроме того, выполнено условие

«Информация Фишера»    13 EMBED Equation.DSMT4 1415существует, положительна и непрерывна по [ Cкачайте файл, чтобы посмотреть картинку ] во всех точках [ Cкачайте файл, чтобы посмотреть картинку ].

Тогда справедливо
Неравенство Рао – Крамера.
Для любой несмещенной оценки [ Cкачайте файл, чтобы посмотреть картинку ], дисперсия которой [ Cкачайте файл, чтобы посмотреть картинку ]ограничена на любом замкнутой области [ Cкачайте файл, чтобы посмотреть картинку ], справедливо неравенство
13 EMBED Equation.DSMT4 1415
2.7 Неравенство Рао – Крамера и эффективность оценок
Определение
Оценка [ Cкачайте файл, чтобы посмотреть картинку ]называется эффективной в классе несмещенных оценок, если ее дисперсия меньше (не больше) дисперсий всех других оценок в этом классе. То есть для любой [ Cкачайте файл, чтобы посмотреть картинку ], для любого [ Cкачайте файл, чтобы посмотреть картинку ]
13 EMBED Equation.DSMT4 1415
Сформулируем очевидное следствие из неравенства Рао – Крамера.
Следствие.
  Если семейство распределений [ Cкачайте файл, чтобы посмотреть картинку ]удовлетворяет условиям неравенства Рао-Крамера, и оценка [ Cкачайте файл, чтобы посмотреть картинку ]такова, что в неравенстве Рао – Крамера достигается равенство:
13 EMBED Equation.DSMT4 1415
то оценка [ Cкачайте файл, чтобы посмотреть картинку ]эффективна в классе несмещенных оценок.
.
Пример 5.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из нормального распределения [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]. Проверим, является ли оценка [ Cкачайте файл, чтобы посмотреть картинку ]эффективной.
Найдем информацию Фишера относительно параметра [ Cкачайте файл, чтобы посмотреть картинку ] (считая, что имеется один неизвестный параметр – [ Cкачайте файл, чтобы посмотреть картинку ]).
13 EMBED Equation.DSMT4 1415
13 EMBED Equation.DSMT4 1415
Тогда 13 EMBED Equation.DSMT4 1415
Итак, [ Cкачайте файл, чтобы посмотреть картинку ]. Найдем дисперсию оценки [ Cкачайте файл, чтобы посмотреть картинку ].
[ Cкачайте файл, чтобы посмотреть картинку ]
Далее, сравнивая левую и правую части в неравенстве Рао – Крамера, получаем равенство:
[ Cкачайте файл, чтобы посмотреть картинку ]
То есть оценка [ Cкачайте файл, чтобы посмотреть картинку ] эффективна ( обладает наименьшей дисперсией среди несмещенных оценок ).
Пример 6.
Пусть [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ], [ Cкачайте файл, чтобы посмотреть картинку ]– выборка объема [ Cкачайте файл, чтобы посмотреть картинку ] из показательного распределения [ Cкачайте файл, чтобы посмотреть картинку ]с параметром [ Cкачайте файл, чтобы посмотреть картинку ], где [ Cкачайте файл, чтобы посмотреть картинку ]. Проверим, является ли оценка [ Cкачайте файл, чтобы посмотреть картинку ] эффективной.
Найдем информацию Фишера относительно параметра [ Cкачайте файл, чтобы посмотреть картинку ]
13 EMBED Equation.DSMT4 1415[ Cкачайте файл, чтобы посмотреть картинку ]
Плотность данного показательного распределения имеет вид:
[ Cкачайте файл, чтобы посмотреть картинку ]
Тогда
13 EMBED Equation.DSMT4 1415
Итак, [ Cкачайте файл, чтобы посмотреть картинку ]. Найдем дисперсию оценки [ Cкачайте файл, чтобы посмотреть картинку ].
13 EMBED Equation.DSMT4 1415.
Подставив дисперсию и информацию Фишера в неравенство Рао-Крамера, получаем равенство:
[ Cкачайте файл, чтобы посмотреть картинку ]

То есть оценка [ Cкачайте файл, чтобы посмотреть картинку ]– эффективная оценка параметра [ Cкачайте файл, чтобы посмотреть картинку ].

Root Entry1Equation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation Native$p\in (0,1)$$\mathscr F_\theta={\mathsf B}_p$${\mathsf U}_{a,b}$$\theta \in \Theta$${\mathsf D}\,{\!}_{\theta_1} X_1$$\theta^*=\theta^*(X_1, \ldots, X_n)$Equation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation Native$\mathscr F_\theta$Equation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation Native$\overline X$$\overline X<0$$\overline X$$a^*=\max\{0, \overline X\}$$h:{\textrm{\upshape I\kern-0.20em R}}\to{\textrm{\upshape I\kern-0.20em R}}$${\mathsf P}_\theta\,(X_1=y)$\begin{displaymath}
f({\mathbf x}, \theta) = \prod\limits_{i=1}^n f_\theta(x_i) ...
...ta\,(X_n=x_n) =
{\mathsf P}_\theta\,(X_1=x_1, \ldots, X_n=x_n).\end{displaymath}Equation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation NativeEquation Native$\text{\boldmath\ensuremath \Pi}_\lambda$\begin{displaymath}
{\mathsf P}\,{\!}_\lambda(X_1=y)=\dfrac{\lambda^y}{y!}\,e^{-\lambda}, \qquad
y=0,1,2,\ldots\end{displaymath}$\dfrac{n\overline X}{\lambda} - n = 0$$\mathscr F_\theta$$\mathscr F_\theta$Equation NativeEquation NativeEquation NativeEquation Native

Приложенные файлы

  • doc 18814177
    Размер файла: 362 kB Загрузок: 0

Добавить комментарий