МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

В основе метода максимального правдоподобия лежит понятие функции правдоподобия. Пусть X = (Хь Х2, ..., Х„) — случайная, а х = = (*!, х2, ..., х„) — конкретная выборка из генеральной совокупности X. Напомним, случайной называют выборку, удовлетворяющую следующим условиям:

? случайные величины Х,,Х2,..., Х„ независимы, т.е.

Из определения следует: чем вероятнее (чем правдоподобнее) при фиксированном 0 набор х, тем больше значение функции правдоподобия Цх, 0), отсюда и ее название.

Согласно методу максимального правдоподобия, оценка максимального правдоподобия 0(П) =(б*п2П),0*П),| параметра 0 = = (б,, 02,0*), при заданном наборе дс определяется из условия:

где {0} — область допустимых значений для 0.

Естественность такого подхода к определению оценки 0(П) вытекает из смысла функции L: при фиксированном 0 функция Цдс, 0) — мера правдоподобия набора дс; поэтому, изменяя 0, можно проследить, при каких его значениях набор дс является более правдоподобным, а при каких — менее, и выбрать такое значение 0(П), при котором имеющийся набор д: будет наиболее правдоподобным.

В ряде случаев 0(П) удобнее определять из условия:

идентичного условию (7.2.6): если вместо функции L взять In L, точка максимума не изменится. Функцию In L (дс, 0) называют логарифмической функцией правдоподобия.

Согласно формуле (7.2.7), для нахождения 0(П) следует:

? найти решения системы уравнений максимального правдоподобия

при этом решением считается лишь такой набор 0* = = (0р 02,0*), удовлетворяющий (7.2.8), в котором каждое

  • 0* действительно зависит от дс;
  • ? среди решений, лежащих внутри области {0}, выделить точки максимума;
  • ? если система (7.2.8) не определена, не разрешима или если среди ее решений нет точки максимума внутри {©}, то точку максимума следует искать на границе области {0}.

Пример 7.4. Нахождение оценок параметров нормального распределения методом максимального правдоподобия. Найдем методом мак- симапьного правдоподобия оценки параметров а и h = о2 нормального распределения. Согласно формуле (7.2.5), функция правдоподобия

так как Д > 0, а А < 0, то точка (а* = х , Ь* = а2) является точкой максимума функции In L. Поэтому оценки максимального правдоподобия <5<п) = х , д2<П) = а2 . Оценки совпали с оценками метода моментов.

Пример 7.5. Нахождение методом максимального правдоподобия оценок параметров а и b равномерного на отрезке [а, Ь] распределения. Согласно формуле (7.2.5), функция правдоподобия

Система (7.2.8) нс имеет решения относительно а и Л. Оценки а(П> и Л> следует искать на границе области допустимых значений для а и Л:

где х(1) = min(X|, хъ ..., х„), a х(п) = max(.vbjr2,..., х„).

Тогда условие (7.2.6) примет вид:

Так как функция L{a, b) = 1/(Л - а)" возрастает при возрастании а и убывании Ь, то се максимум на области {©} достигается в точке

(<5<п) = х(1)(П) = х(л) ). Это и будут оценки максимального правдоподобия параметров а и b равномерного на отрезке [а, Ь] распределения (эти оценки отличаются от оценок а = х - Сл/з , b = х + 6/з , которые можно получить методом моментов при использовании первого и второго начальных моментов).

Пример 7.6. Нахождение методом максимального правдоподобия оценки вероятности р успеха в единичном испытании. Случайная величина X — число успехов в единичном испытании: Р(Х = х) = рх( 1 - -р)'~’, х = 0,1; р — вероятность успеха в единичном испытании. Найдем оценку максимальног о правдоподобия /)<п), располагая выборкой х = (.г,, х2,..., -О, ГДС xi — число успехов в 1-м испытании.

Я 2>, у

Согласно формуле (7.2.5), Цх,р)= YP(X=xi,p)=p-' (1 -рГ^;

1=1

р(П) =— Vxf =— , где т — число успехов в п испытаниях Бернулли (та- п /=1 п

кую же оценку можно получить и методом моментов). Эта оценка состоятельная, несмещенная и, в чем нетрудно убедиться, эффективная.

Отмеченная выше естественность определения оценок максимального правдоподобия из условия (7.2.6) подкрепляется их хорошими свойствами. Если функция плотности fx(x, 0) (функция вероятности Р (X = х, 0), если X дискретна) удовлетворяет достаточно общим условиям регулярности, оценка максимального правдоподобия 0(П) имеет при больших п распределение, близкое к нормальному с математическим ожиданием, равным 0, и дисперсией, равной 1/[я/(0)], где /(0) определяется соотношением (7.1.9), является состоятельной, асимптотически несмещенной и асимптотически эффективной; более того, если существует эффективная оценка параметра, она будет единственным решением уравнения максимального правдоподобия.

Кроме описанных методов оценивания параметров существует ряд других, например метод наименьших квадратов, согласно которому оценка 0 параметра 0 находится из условия:

Обратим внимание на то, что при оценивании математического ожидания нормального распределения с известным значением дисперсии условие (7.2.9) идентично условию метода максимального правдоподобия (7.2.6).

В последние годы развиваются так называемые робастные, или устойчивые, методы оценивания, позволяющие находить оценки, хотя и не являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >