Модели с дискретными зависимыми переменными

При моделировании социально-экономических процессов, в некоторых случаях, приходится иметь дело с эндогенными переменными, принимающими дискретные значения. В качестве примеров можно привести: порядковые характеристики (уровень автоматизации: низкий, средний, высокий; доход семьи: низкий, средний, высокой, очень высокий; уровень загрязнения окружающей среды и т.д.); количественные целочисленные переменные (количество убыточных предприятий, число членов в семье, число предъявленных исков); качественные характеристики (мнение эксперта, результаты голосования, достаточность поликлиник в районе, выбор профессии, работать или быть безработным, сдать или не сдать экзамен, внедрять новую технологию или не внедрять). Для изучения влияния на них ряда факторов строятся специальные регрессионные модели: если зависимая переменная принимает только два значения — модели бинарного выбора, если альтернатив больше двух — модели множественного выбора.

Модели бинарного выбора

В моделях бинарного выбора эндогенная переменная принимает только два значения — 0 и 1, и используется для описания состояний качественной переменной. Например, если в исследуемом периоде i-й банк признается банкротом, бинарная переменная yt = 1 (успех), в противном случае yt = 0 (неудача). Обозначим: вектор бинарных переменных[1]

i - ю строку матрицы регрессоров[2]

вектор столбец случайных возмущений вектор столбец параметров модели

С учетом данных обозначений спецификация множественной регрессионной модели для i — он составляющей вектора Y принимает вид :

Для вектора случайного возмущения выполняется первая предпосылка Гаусса-Маркова:

Сформулируем данную предпосылку в терминах зависимой переменной:

Определим математическое ожидание зависимой переменной модели (2.1) с учетом того, что она является бинарной

Таким образом,

В силу равенства (2.2), модель (2.1) получила название линейной вероятностной модели LPM (linear probability model)[ 1]. Применение обычного МНК для оценки параметров LPM приводит к ряду нежелательных последствий. Это связано с рядом причин, одна из которых — нарушение второй предпосылки Гаусса-Маркова. Покажем это. Определим дисперсию случайного возмущения

Для бинарной переменной первый начальный момент равен второму [3]

Таким образом, дисперсия случайного возмущения зависит от значений регрессоров

и, следовательно, возмущение гетероскедастично.

Вторым недостатком LPM является то, что случайное возмущение имеет распределение отличное от нормального, т.к. принимает только два значения с соответствующими вероятностями:

Третий недостаток — оценки эндогенной переменной yt, построенные по МНК-оценкам параметров, могут принимать значения у, < 0, либо у, > 1, что противоречит постановке задачи. Для преодоления данного недостатка, вместо зависимости вероятности успеха от линейной формы (2.2), используется зависимость нелинейного вида

где функция F(z) должна удовлетворять следующим требованиям:

  • 1) F(z) монотонно возрастает по z;
  • 2) 0< F(z) < 1;
  • 3) F(z) -» 1 при z —> со;
  • 4) F(z) —> 0 при z —> -со,

т.е. в качестве функции F(z) следует использовать функцию распределения вероятностей.

Экономическая интерпретация модели (2.3) может быть следующая {пороговая модель): рассматривается некоторая ненаблюдаемая (латентная) количественная переменная у , которая линейно зависит от вектора объясняющих переменных

где s,— случайное возмущение, удовлетворяющее условиям Гаусса-Маркова. Связь латентной и бинарной переменных устанавливается по правилу:

где р — некоторое пороговое значение. Например, при сдаче экзамена р — некоторый пороговый балл, ниже которого экзамен считается несданным, или пороговое значение сбережений, ниже которого семья не может себе позволить приобрести дополнительную недвижимость.

Без ограничения общности, включая константу в число регрессоров, можно полагать р = 0. Тогда, выбирая в качестве функции F(-) симметричную функцию распределения нормированного случайного возмущения б,-/ст, можно записать

Полагая ст = 1, поскольку в данном случае параметры о и (3 по отдельности не идентифицированы, приходим к модели (2.3). Таким образом, форма спецификации модели бинарного выбора определяется выбранным законом распределения случайного возмущения в латентной модели (2.4).

Иногда в качестве обоснования спецификации приводят следующие аргументы (модель полезности альтернатив)', оценивается полезность двух альтернатив, которая зависит от ряда факторов. Выбирается альтернатива с большей полезностью. В качестве латентной переменной, в данном подходе, служит разность полезностей альтернатив.

Спецификация (2.3) является нелинейной по параметрам моделью, поэтому интерпретация её параметров отличается от интерпретации параметров линейной регрессионной модели — предельного эффекта влияния регрессоров на эндогенную переменную. В данном случае, предельный эффект влияния одного из регрессоров на эндогенную переменную не является постоянным, а зависит от значений всех регрессоров, включённых в модель

причём, знак производной определяется знаком параметра, т.к. плотность распределения неотрицательна.

Для оценки параметров нелинейной модели (2.3) применяется метод максимального правдоподобия (ММП). В рамках модели (2.3) предполагается, что независимые наблюдения дискретной случайной величины yt,i = 1,...,и , представляют собой выбор из распределения Бернулли с вероятностью успеха F{x$). Функция правдоподобия для вектора Y , определяемая как произведение вероятностей отдельных наблюдений, принимает вид

Выражение (2.6) получено с учетом элементов вектора Y, которые могут принимать только два значения 0 или 1.

В соответствии с алгоритмом ММП определим логарифмическую функцию максимального правдоподобия

и уравнения правдоподобия

где для удобства приняты следующие обозначения

Система уравнений (2.8) — нелинейная система, для её решения применяются численные методы, основанные на итерационных процедурах. Предварительным этапом данных процедур является проверка существования глобального максимума логарифмической функции правдоподобия, основанная на определении её Гессиана. Получим выражение для матрицы вторых производных:

Если Гессиан отрицательно определён, то логарифмическая функция правдоподобия строго вогнута и имеет единственный максимум. Гессиан (2.9) используется для построения автоковариационной матрицы вектора ММП- оценок параметров модели:

Используя выражения (2.9) и (2.3) определим информационную матрицу Фишера

Таким образом, автоковариационная матрица вектора ММП-оценок параметров модели имеет вид

С вычислительной точки зрения формулу (2.10) удобнее представлять в матричной форме. В рассмотрение вводятся две матрицы [9]:

X— матрица (пхк) значений регрессоров (х,- — i-я строка матрицы

D — диагональная матрица (я х я) с элементами на главной диагонали

Тогда

и автоковариационная матрица вектора оценок параметров равна

Оценка дисперсии оценки эндогенной переменной модели (2.3),

определяется следующим образом. Разложим функцию F(z) в ряд Тейлора и ограничимся линейными членами:

Ошибка оценки эндогенной переменной дисперсия ошибок

Диагональные элементы автоковариационной матрицы оценок параметров Срр используются для вычисления z-статистик, при помощи которых

выполняется проверка статистической значимости отдельных ММП-оценок параметров модели бинарного выбора.

Значимость группы оценок параметров, как отмечалось в разделе 1, может быть проверена при помощи тестов Вальда (Wald test), множителей Лагранжа (LM—Lagrange multiplier test), отношения правдоподобия (LRLikelihood ratio test).

Для проверки качества модели используются два показателя — аналоги коэффициента детерминации в регрессионных моделях. Один из них — ин-

2

деке отношения правдоподобия Макфаддена (McFadden R statistics)

где / = lnZ(p;y^j— максимальное значение логарифмической функции правдоподобия, достигаемое в точке с координатами (3 = / =1п/,((Зд) —

значение логарифмической функции правдоподобия, вычисленное в рамках гипотезы Я0 : (32 = Рз = ••• = P/t = 0.

Значения критерия заключены между нулём и единицей. Если оценки параметров модели статистически незначимы, то значения / и / совпадают, и LR1 = 0. Чем больше совпадений между расчётными и фактическими значениями, тем ближе значение индекса к 1. Если все прогнозные вероятности совпадают с наблюдаемыми значениями, то все сомножители функции правдоподобия равны 1, логарифм функции правдоподобия равен 0, и индекс Макфаддена принимает значение равное 1. При LR1 = 1 модель называется

2

совершенно согласованной. Второй показатель — псевдо R :

Данный показатель равен нулю в случае справедливости нулевой гипотезы Но : Рг = Рз = ••• = P/t = 0. С увеличением разности 1-1 его значение приближается к единице (не достигая её). Чем ближе значение к единице, тем точнее модель воспроизводит фактические значения бинарной переменной.

Для оценки качества прогнозной способности модели используются следующие правила: если оценка вероятности, полученная в рамках модели больше с = 0,5 (пороговое значение), то прогнозное значение вероятности принимается равным 1, в противном случае - 0. Для моделей с симметричными относительно нуля законами распределения это правило можно формализовать следующим образом:

Доля ошибочных прогнозов по модели вычисляется по формуле

Доля ошибочных прогнозов в рамках тривиальной модели, модели в которой все вероятности равны между собой и определяются долей успехов в выборке:

где р = щ/п, щ— число успехов. Мера качества модели в рамках данного подхода определяется статистикой

Показатель качества (2.14) может принимать отрицательные значения, если число ошибок модели больше, чем в модели тривиального прогноза.

Логит модели

В логит моделях (logit-model) в качестве функции распределения (iфункции связи) в (2.3) используется функция логистического распределения

Выразим параметр z {логит) из (2.15)

где F(z) — вероятность успеха, I - F(z)— вероятность неудачи, таким образом, z — это логарифм отношения шансов.

Функция (2.15) обладает всеми четырьмя перечисленными свойствами и является симметричной относительно z = 0, так как Л(—z) = 1 — A(z). С учетом (2.3) запишем спецификацию логит модели

Данная модель является нелинейной по параметрам моделью. Получим выражение для предельного эффекта (см.(2.5) и (2.15))

Для оценки параметров нелинейной по параметрам модели применяется метод максимального правдоподобия (ММП). Определим логарифмическую функцию максимального правдоподобия и её производную по вектору параметров в рамках логит-модели. Подставляя (2.15) в (2.7), получим

или, после преобразований

Прежде чем решать данные уравнения, следует убедиться в том, что решение обеспечит максимум логарифмической функции правдоподобия. Вторые производные для логит модели равны

Отсюда следует, что гессиан отрицательно определён, и функция In L является вогнутой по вектору параметров р. Таким образом, решение уравнения правдоподобия существует, и может быть найдено при помощи численных методов, например, Ньютона-Рафсона.

Пробит модели

В пробит моделях {probit-model) в качестве функции связи (2.3) используется функция стандартного нормального распределения

Функция (2.17) обладает всеми четырьмя перечисленными свойствами. С учетом (2.4) запишем спецификацию пробит-модели

Для пробит модели предельный эффект одного из регрессоров спецификации (2.18) определяется по формуле

Для оценки параметров нелинейной по параметрам модели (2.18) применяется ММП. Функция правдоподобия для вектора Y, определяемая как вероятность совместного появления всей совокупности ожидаемых событий, зависящая от вектора параметров р, принимает вид

В соответствии с алгоритмом ММП определим логарифмическую функцию максимального правдоподобия

и уравнения правдоподобия

где для удобства приняты следующие обозначения

Гессиан логарифмической функции максимального правдоподобия (2.19), в случае применения пробит модели, отрицательно определён, функция In Г, является вогнутой по вектору параметров р. Таким образом, решение уравнения правдоподобия существует, и может быть найдено при помощи метода Ньютона-Рафсона.

Пример 2.1. Рассмотрим модель бинарного выбора со спецификацией

вида

где у — латентная переменная, связанная с наблюдаемой следующим соотношением

dj — фиктивная переменная, принимающая значения 0 и 1,

а,Ь — параметры модели. Объем выборки равен ста наблюдениям, структуру

которых можно представить в виде таблицы 2.1 [6].

Результаты наблюдений. Таблица 2.1.

У

d

0

1

0

24

28

1

32

16

Требуется оценить параметры модели бинарного выбора методом максимального правдоподобия в рамках логит и пробит моделей.

Решение. Спецификация модели в зависимости от фиктивной переменной принимает следующие формы:

Таблица 2.2.

Фиктивная переменная dj

Латентная переменная

Распределение бинарной переменной

1

у,- = а + b + г, = 5 + ?,-

_Jl, F(S) У{ [О, 1-F(5)

ИЗ

0

у* =а + е,-

_jl, F{a) У{ [О, 1 -F(a)

Учитывая результаты наблюдений и распределение бинарной переменной, приведённые в таблицах 2.1, 2.2, составим функцию максимального правдоподобия

Логарифмическая функция максимального правдоподобия для данного примера имеет вид

В рассматриваемом примере удобно оценить сначала вероятности F{a) и F(8), а затем уже для конкретной модели (логит или пробит) параметры. Введём следующие обозначения: A = F{a), О = /•'(§). С учетом данных обозначений перепишем выражение логарифмической функции правдоподобия

Система уравнений правдоподобия состоит из двух уравнений: результатом её решения являются ММП-оценки:

Оценки параметров в рамках пробит модели определяются по прави-

25

лу:

[4]

Оценки параметров в рамках логит модели вычисляются по формулам (с учётом (2.15)):

Соотношение между оценками параметров логит и пробит моделей равно:

Пример 2.2. Используя модель и данные примера 2.1 найти ско оценок параметров в рамках пробит модели и проверить статистическую значимость ММП-оценки параметра при регрессоре.

Решение. Определим информационную матрицу Фишера по формуле

Вычисление множителей du оформим в виде таблицы.

Вычисление множителей du в рамках пробит модели[5]. Таблица 2.3.

Число

наблюдений

У

d

х(3 = а + bd

ф(*Э)

ф(*Р)

dti

24

0

0

0,098

0,539

0,397

0,636

28

1

0

0,098

0,539

0,397

0,636

32

0

1

-0,431

0,333

0,364

0,597

16

1

1

-0,431

0,333

0,364

0,597

Теперь составим матрицы xf ? xt, учитывая спецификацию модели

и значения фиктивной переменной с/(. Для значения dt = 1 строка регрессоров Xj = [l dj= [l l], и, соответственно,

Для значения dt = 0 строка регрессоров xt = [l dt ] = [l О], и, соответственно,

Используя данные таблицы 2.1 и значения матрицы xf ? xt, определим матрицу Фишера для ММП-оценок параметров модели:

Автоковариационная матрица оценок параметров вычисляется по формуле

(2.10):

Диагональные элементы матрицы — дисперсии оценок параметров модели. Таким образом, ско оценок параметров равны:

Используя оценки параметров и их ско можно вычислить z- статистики, имеющие стандартное нормальное распределение, и определяющие стати-

27

стическую значимость оценок :

Таким образом, нулевая гипотеза о незначимости параметра при регрессоре не принимается.

Пример 2.3. При помощи тестов отношения правдоподобия, множителей Лагранжа и Вальда проверить нулевую гипотезу Н0 :Ь = 0 в рамках пробит модели примера 2.1.

27 В Excel Zрр

определяется при помощи функции НОРМСТОБР, в категории «Статистические».

иб

Решение. По формуле (1.83) найдём значение отношения правдоподобия. Для этого необходимо вычислить:

1пт((Зд)— максимальное значение логарифмической функции правдоподобия для регрессии с ограничением,

lnZ^^)— максимальное значение логарифмической функции правдоподобия для регрессии без ограничений.

Значение логарифмической функции правдоподобия для регрессии без ограничений равно:

Данные таблицы 2.1 для модели с ограничением Н0: b = 0имеют следующую структуру

Результаты наблюдений. Таблица 2.4.

У

0

1

56

44

При наличии ограничения Н0 :Ь = 0спецификация модели принимает вид:

Учитывая спецификацию модели и данные таблицы 2.4 с учётом ограничения, составим функцию максимального правдоподобия и логарифмическую функцию максимального правдоподобия:

Решением уравнения правдоподобия

является вероятность успеха /I д> = F(а д) = 0,44, откуда а ^ = -0,151 , и,

Подставив в (1.83) максимальные значения логарифмической функции правдоподобия для усечённой и неусечённой регрессий, получим

Критическое значение X^,(l)= 3,84 для уровня значимости 0,05. Таким образом, LR = 4,3 > y^(l)= 3,84, и нулевая гипотеза Н0:Ь = 0 отвергается в пользу альтернативной.

Для вычисления статистики теста множителей Лагранжа по формуле (1.80)

необходимо вычислить элементы вектора множителей Лагранжа, которые представляют собой значения производных логарифмической функции правдоподобия

по параметрам, на которые наложены ограничения. Определим производную по параметру b:

Для пробит-модели с ограничением: ад =-0,151, F(aR) = 0,44, f(aR) = 0,394, и

Таким образом,

Определим матрицу Фишера для ММП-оценок параметров модели с ограничением:

и, следовательно,

Статистика теста множителей Лагранжа

Критическое значение l) = 3,84 для уровня значимости 0,05. Таким образом, LM = 4,26 > (l) = 3,84, и нулевая гипотеза Н0:Ь = 0 отвергается

в пользу альтернативной.

Статистика Вальда (1.79)

с учетом матрицы ограничения задачи Н = [0 l], и константы ограничения г = 0, принимает вид

При вычислении значения статистики критерия были использованы: ММП-оценка параметра пробит - модели, b = -0,528, вычисленная в примере

2.1, и автоковариационная матрица вектора оценок параметров пробит модели С^, определённая в примере 2.2. Критическое значение (0 = 3,84 для уровня значимости 0,05. Таким образом, W = 4,256 > /}кр (l) = 3,84, и нулевая гипотеза Н0 :Ь = 0 отвергается в пользу альтернативной.

Пример 2.4. Проанализировать качество модели бинарного выбора для сквозного примера при помощи индекса отношения правдоподобия и псевдо-

Решение. Для вычисления индекса отношения правдоподобия по формуле (2.12), воспользуемся значением логарифмической функции правдоподобия / = In ^(Р;/д>), достигаемое в точке с координатами р-(рь-,М и значением логарифмической функции правдоподобия, вычисленное в рамках гипотезы Я0 : (32 = Рз = ••• = P/t = 0:

Индекс отношения правдоподобия, для рассматриваемой модели равен и, показывает низкое качество модели. Для данных сквозного примера значе-

ние псевдо - R , вычисляемое по формуле (2.13), равно

Данная статистика также показывает низкое качество модели.

Пример 2.5. Вычислить дисперсии оценок эндогенной переменной в пробит модели бинарного выбора в рамках сквозного примера.

Решение. Оценивание дисперсий оценок эндогенной переменной выполним по формуле (2.11). Воспользуемся результатами примера 2.2, в котором получены значения элементов автоковариационной матрицы оценок параметров

и плотности распределения. Вычисления оформим в виде таблицы 2.5.

Вычисление Var{pi) в рамках пробит модели. Таблица 2.5.

Число

наблюдений

У

d

x(3 = a + bd

ф(*Р)

r_ T xi ’xi

Var(pj)

24

0

0

0,098

0,397

1

0

0,030

0,00478

28

1

0

0,098

0,397

1

0

0,030

0,00478

32

0

1

-0,431

0,364

1

1

0,035

0,00463

16

1

1

-0,431

0,364

1

1

0,035

0,00463

Приложение 2.1.

  • [1] Значком «Г» в данном разделе обозначена операция транспонирования, значком « '» —операция дифференцирования.
  • [2] например, это могут быть значения финансовых показателей состояния i — го банка[4],[7].
  • [3] Для простоты будем предполагать, что регрессоры детерминированы.
  • [4] В Excel это можно сделать при помощи функции НОРМСТОБР или НОРМ.СТ.ОБР, в категории «Стати-стические».
  • [5] Значения функций Фиф вычисляются в Excel в категории «Статистические» при помощи функцииНОРМСТРАСП при значениях параметра «ИНТЕГРАЛЬНАЯ» — 1 и 0 соответственно.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >