Обзор методов анализа статистических и экспертных данных

При формировании математических моделей, целью которых является прогнозирование динамического развития сложных социально- экономических систем (например, развития стран, регионов, городов и т. д.), всегда используется сочетание статистических и экспертных данных (см., например, Б.Г.Литвак [26J, О.И.Ларичев [27]и др.). При этом накопленная статистика служит базой для выявления трендов и закономерностей изменения прогнозируемых процессов, и позволяет сформировать представление о характере причинно-следственных связей между отдельными показателями экономической системы. Экспертные же данные используются для формирования сценарных условий изадания ограничений (граничных условий) развития экономической системы в будущем. Одной из важнейших характеристик социально-экономических прогнозов является их достоверность, выражающаяся в соответствии прогнозируемых параметров социально- экономических процессов тому, какими они будут в действительности. Соответственно эта достоверность будет определяться адекватностью используемой в модели статистической информации и адекватностью сформулированных экспертным способом предположений о перспективе изменений социально-экономических процессов (см, В.П. Боровиков[1]^]).

Вопросы анализа статистических и экспертных данных при социально-экономическом прогнозировании стали предметом научного исследования значительного круга ученых. В частности среди иностранных ученых известны труды A.Hetland, В.D.Spencer, B.Mareschal, С.Н.Smith, D.Q.Pham, H.R.Weistroffer, J.Beer, K.Kerns, J.M.Alho, M.Alders, M.Bell, M.Stoto, N.Keilman, N.Keyfitz, P.Hansen, P.Pflaumer, P.Saariluoma, R.Cooke, R.Lee, S.C.Narula, S.Scherbov, S.Tuljapurkar, T.L.Saaty, T.Wilson, W.C.Sanderson, W.Lutz и др.,а среди российских:

A. В.Зозулев, А.Н.Воронин, Б.Г.Литвак, В.Г.Тоценко, В.Е.Гмурман,

B. М.Бухштабер, Г.А.Черчиль, И.И.Елисеева, И.С.Енюков,

Л.Д.Мешалкин, М.М.Юзбашев, Н.Дружинин, О.И.Ларичев,

C. А.Айвазян, С.А.Солнцев, С.В.Курышева, С.Д.Бешелев, С.С.Сергеев, Т.В.Костеева, Ф.Г.Гурвич, Я.Барков и др.

Однако наблюдаемые в последнее время стрессовые изменения в мировой экономической и политической конъюнктуре приводят к существенным отклонениям показателей (в том числе и скачкообразным) от их нормальной рыночной динамики, многие процессы, составляющие явление социально-экономического развития, сегодня характеризуются существенной нелинейностью и нестационарностью. В этой ситуации статистические данные часто не могут служить основой для разработки достоверного прогноза, а оценки экспертов могут существенно (даже диаметрально) различаться между собой. При этом множественность взаимосвязей в социально-экономических системах может приводить к мультипликационному эффекту - незначительная неточность исходных данных и гипотез может привести к существенным нарушениям результатов прогноза «на выходе», кроме того комбинация отдельных незначительных неточностей может существенно усиливать неточность результатов.

Таким образом, при разработке моделей развития социально- экономических систем, формировании и/или интерпретации долгосрочных прогнозов, необходимо проведение отдельного исследования, направленного на оптимизацию подходов в использовании аналитического инструментария с учетом особенностей текущей мировой ситуации. Данное направление научных исследований представляется нам крайне важным с теоретической и практической точки зрения.

Следует отметить, что на практике сложность проблемы анализа статистических и экспертных данных усиливается наличием множества разработанных к настоящему времени математических методов и программных инструментов, используемых для анализа статистических и экспертных данных. При этом каждый из них имеет свои особенности и ограничения, свои требования к количеству и качеству статистической информации, и, как следствие, свои сферы использования, ограничения и интервалы доверия. Это, в свою очередь, порождает вопрос правильного подбора используемого метода и инструмента. Анализ статистических данных

Формирование прогнозов развития социально-экономических систем осуществляются с помощью математических функций (см. В.С.Медведев [29]), при этом выбор того или иного метода построения этих функций существенно влияет на требования к используемым статистическим данных. Рассмотрим далее наиболее распространенные подходы. [2]

Экстраполяционный метод основан на прямом использовании данных о динамике изменений отдельных параметров экономической системы. При этом прогнозируемый процесс представляется как функция времени, в которой аккумулировано действие факторов, определяющих его направление и интенсивность. Соответственно, если известны статистические показатели, то можно рассчитать параметры прогноза на любое количество лет вперед, считая тенденции и закономерности постоянными на весь прогнозный период. С этой точки зрения экстраполяционные методы органически связаны с гипотезой, что выявленные тенденции прошлого сохранятся в будущем. Благодаря своей простоте, это наиболее распространенный метод прогнозирования, который дает представление о динамике социально- экономического явления, если развитие будет происходить по траектории ситуации. Недостатком экстраполяционных моделей является то, что они выходят из представления об определенном «среднем» развитии и не учитывают особенностей развития отдельных процессов.

Аналитический метод основан на том, что, исходя из прошлой социально-экономической динамики, подбирается функция, которая наиболее ближе ее описывает, однако любая функция имеет эмпирический характер. Аналитический метод имеет те же ограничения, что и экстраполяционный - он может применяться только для коротких периодов времени. В настоящее время разработаны специальные компьютерные программы, которые дают возможность прогнозировать динамику социально-экономических изменений с помощью различных аналитических функций.

Метод марковских цепей базируется на вероятностях перехода единиц совокупности отдельных факторов из одной группы в другую, а также выход их из-под наблюдения. Предполагается, что найденные коэффициенты развития социально-экономических процессов остаются неизменными какой-то интервал времени, формируя такую структуру, которая зависит только от матрицы перехода, а не от начальных условий. Иногда марковский процесс называют законом эргодичности (эргодичность - свойство системы «забывать» свою прежнюю структуру). При этом, как отмечал В.С.Медведеви[29]«надо помнить, что главным является не вероятностная интерпретация событий, а их социально-экономическая обусловленность», то есть анализ отдельных социально-экономических явлений должен проводиться в общем контексте развития экономической системы. [2]

Регрессионные модели применяются тогда, когда оценка должна быть осуществлена в соответствии с предполагаемыми или известными изменениями величин (которые рассматриваются как факторные признаки) определенных экономических или социальных факторов, которые, по мнению исследователя, влияют на прогнозируемый процесс. С формальной стороны этот вид прогнозов основывается на построении многомерных регрессионных моделей, выходящих из результатов анализа множественной корреляции и регрессии. В качестве независимой переменной здесь выступает не время, как при простой экстраполяции, а определенная характеристика процесса, которая играет роль фактора. Современные средства обработки информации с использованием ЭВМ дают возможность вводить в анализ большое количество факторов, однако, как отмечал ЮЛ.Кетков H30J,«корреляционно-регрессионная модель не имеет целью точно отразить реальную действительность. Она является средством познания, отражающим только общие тенденции, структурные связи и отношения». То есть наиболее значимым при построении корреляционно-регрессионных моделей является не создание математического аппарата, который бы отвечал исследуемым процессам, а выявление качественной природы социально-экономических явлений и взаимосвязи факторов, формирующих их интенсивность.

Усовершенствованными видами корреляционно-регрессионных моделей является метод объект-периодов и построение рекуррентной (рекурсивной) модели. Метод объект-периодов предполагает, что к одной совокупности подключают несколько рядов динамики, что позволяет существенно увеличить объем совокупности и применить к ее обработке методы, опирающиеся на силу закона больших чисел (см., В.Е.Гмурман[4] [5][31]). Рекуррентная модель опирается на структуру взаимосвязей и учитывает не только прямые влияния на зависимую переменную, но и косвенные, которые выражаются через взаимосвязи между независимыми переменными. При этом постулируется, что исследуемый процесс будет развиваться с той же тенденцией (см., В.Е.Гмурман[6] [7][31]).

Вероятностный прогноз, в отличие от детерминированного, задает верхнюю и нижнюю границы возможных значений прогнозируемых характеристик. Множество прогнозных значений находится между этими крайними статистическими рядами сценарных показателей. Прогноз исчисляется как серия вероятностных имитаций возможных переменных. Заданное условие нормального распределения вероятностей для каждого компонента прогноза и их взаимное наложение дают «сгущение» имитаций прогноза, наибольшая плотность которых достигается в районе медианного значения такого распределения.

Истоки вероятностного подхода к прогнозам можно найти в работах М.Стото[8][32], Дж.Альхо и Б.Спенсера[33], Н.Кейфитца[9][34], П.Пфлоймер[10][35]. В последнее десятилетие растет внимание к разработке методов и практического использования вероятностного прогнозирования. Вероятностные прогнозы разработаны для многих стран: Австрии[11][36], Финляндии[12][37], Норвегии[13][38], США[14][39], Германии[15]^], Австралии[16][41], Нидерландов[17][42], Швеции[18][43]. Следует отметить, что вероятностное социально-экономическое прогнозирование не исключает использования классических методов прогнозирования - корреляционно-регрессионного анализа, временных рядов и т. п. Широко используется и получает новое прочтение метод экспертных оценок и многовариантные прогнозы. В рамках вероятностного прогнозирования развиваются методы анализа ошибок исторических прогнозов и условный вероятностный прогноз. На отдельных этапах целесообразно применение экстраполяции динамических рядов статистических показателей. Один из недостатков многовариантных прогнозов заключается в том, что в «оптимистический» или «пессимистический» варианты прогноза комбинируются только в соответствующие «оптимистические» или «пессимистические» гипотезы по отдельным компонентам, хотя практика показывает низкую степень вероятности их реализации (например, исследуя показатели социально-экономического развития территории, можно видеть, что высокая продолжительность жизни, совсем не обязательно сопровождается высокой рождаемостью). Из этого следует, что некоторые комбинации компонентов прогноза могут быть отвергнуты из-за их нереалистичное™, что позволяет сузить рамки неопределенности.

Метод динамических рядов, также широко используемый в прогнозировании, базируется на предположении сохранения особенностей динамики отдельных переменных прогноза в будущем. Широкое использование имеют модели с различными параметрами, в частности, такие как ARIMA (Autoregressive Integrated Moving Average) - авторегрессия со скользящими средними. Теоретическим основанием правомерности использования элементов экстраполяции временного ряда является зависимость каждого следующего показателя от значения, достигнутого в предыдущем году. Однако проблемой этого метода является то, что точность экстраполяции динамических рядов обратно пропорциональна горизонту прогноза, а социально-экономические процессы и системы характеризуются в определенной степени эргодичностью, способностью «забывать» прежнюю интенсивность и структуру.

Основными проблемами метода экстраполяции по динамическим рядам является выбор кривой (вида функции) и длины статистического ряда данных для аппроксимации. Аналитические возможности функций ограничены уже тем, что взаимосвязи социально- экономических процессов является не функциональными, а стохастическими, вероятностными. Поэтому приближение кривой показателей определенного социально-экономического процесса к виду математической функции даже в недавнем прошлом не свидетельствует о том, что данная зависимость сохранится и в будущем. В социально- экономическом прогнозировании широко применяемыми являются логистическая и экспоненциальная функции. Известно, что логистическая функция имеет заданную границу распространения прогнозируемой величины. В одних случаях это позволяет избежать заведомо ложных оценок, в других - является препятствием, поскольку общество может резко менять режим развития из-за изменений в технологиях или из-за социальных факторов. Экспоненциальная функция может быть опасной при экстраполяции в том смысле, что на коротких отрезках она близка к линейной, однако при определенных условиях может слишком резко расти. Остальные математические функции (линейная, полиномы разной степени) также имеют свои слабые места. Линейная функция, как и экспоненциальная, при экстраполяции на длительный период может давать нереальные значения. Поведение полинома п-й степени без детального математического анализа вообще предсказать сложно.

Открытым вопросом остается выбор длины аппроксимированного ряда. Более того, этот вопрос, с нашей точки зрения, является краеугольным вопросом при анализе статистической информации. Слишком малая длина ряда (менее 10 точек) сильно зависит от случайных колебаний прогнозируемой величины в этот период. Расширение же ряда предоставляет большой статистический вес давним тенденциям, которые могут не соответствовать новейшим реалиям. Таким образом, хотя математические функции могут хорошо приближаться к историческим наблюдениям, они не указывают, насколько установленная граница может быть поднята (или снижена) в будущем. Большинство используемых функций монотонны по всей области определения. Экстраполяция временных рядов на срок более 5 лет часто оказывается неоправданной и, как следствие, приводит к нереалистичным результатам. Поэтому использование такого метода целесообразно лишь при краткосрочных (до 5 лет) прогнозах. При более длительном сроке применяется коррекция или сужение неприемлемых прогнозных интервалов.

Еще одной проблемой этого подхода является тот факт, что более новые социально-экономические прогнозы не так существенно удалились от базового года прогноза, ведь динамические ряды у них короткие. В результате в них содержатся небольшие ошибки (речь идет именно о величине отклонения, а не количество ошибок). Более старые прогнозы также часто бывают недоступны или состоят из довольно грубых сведений о современных социально-экономических процессах, из которых невозможно установить их степень соответствия. Поэтому представляется целесообразным определенным образом изменить интерпретацию подхода к использованию погрешностей исторических прогнозов. В частности, исследователь должен разобраться, были ли в разработке рассматриваемых исторических прогнозов, имеющих статистические признаки, «корни» тех проблем, которые обусловили дальнейшую динамику прогнозируемых процессов.

  • [1] 3(|Литвак Б.Г. Разработка управленческого решения. - М.: Дело, 2000. - 392 с. 3|Ларичев О.И. Наука и искусство принятия решений. - М.: Наука, 2011. - 200 с. ?^Нейронные сети. STATISTICA Neural Networks: Методология и технологии современногоанализа данных / под ред. В. П. Боровикова. - М.: Телеком, 2008. - 392 с.
  • [2] Медведев В. С. Нейронные сети. MATLAB 6 / В. С. Медведев, В. Г. Потемкин; под общ.ред.к.т.н. В. Г. Потемкина. - М.: ДИАЛОГ-МИФИ. - 2002. - 496 с.
  • [3] Медведев В. С. Нейронные сети. MATLAB 6 / В. С. Медведев, В. Г. Потемкин; под общ.ред.к.т.н. В. Г. Потемкина. - М.: ДИАЛОГ-МИФИ. - 2002. - 496 с.
  • [4] Кетков Ю. Л. MATLAB 7: Программирование, численные методы / Ю. Л. Кочетков, А. Ю.Кетков, М. М. Шульц. - СПб.: БХВ-Петербург, 2005. - 752 с.
  • [5] Гмурман В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. - 9-е изд.,стер. - М.: Высш. шк., 2003. - 479 с.
  • [6] Гмурман В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. - 9-е изд.,
  • [7] стер. - М.: Высш. шк., 2003. - 479 с.
  • [8] 2 3sStoto М. 1983. The accuracy of population projections // Journal of the American Statistical Association 78(381): 13-20. 'yAlho, J. M. and B. D. Spencer. 1985. Uncertain population forecasting // Journal of the AmericanStatistical Association 80(390):306-314.
  • [9] 4(,Keyfitz, N. 1985. A probability representation of future population // Zeitschrift fur Bevolke-rungswissenschaft 11:179-191.
  • [10] Pflaumer, P. 1988. Confidence intervals for population projections based on Monte Carlo methods// International Journal of Forecasting 4:135-142.
  • [11] Lutz, W., Scherbov, S. An expert-based framework for probabilistic national population projections: The example of Austria. European Journal of Population 14(1): 1-17.
  • [12] 4'Alho, J.M. A stochastic forecast of the population of Finland.Reviews 1998/4. Statistics Finland,Helsinki.
  • [13] Keilman N., Pham D.Q., Hetland A. Why population forecasts should be probabilistic - illustratedby the case of Norway // Demographic Research, vol. 6, art. 15. - 2002. - P. 410-454. Lee, R., Tuljapurkar, S. Stochastic Population Projections for the Unites States: Beyond High,Medium and Low. Journal for the American Statistical Association 89(1): 175-1189 (1994). 46 Lutz, W., Scherbov, S. «ProbabilistischeBevolkerungsprognose fur Deutschland», in: Zeitschriftfur Bevolkerungswissenschaft, Jg. 23 2/1998, 83-109. 47 Wilson T., Bell M. Australia's uncertain demographic future // Demographic Research, vol. 11,art. 8.-2004,-P. 196-234.
  • [14] De Beer, J., Alders M. Probabilistic population and household forecasts for the Netherlands. -
  • [15] Working Paper nr. 45, Joint ECE-Eurostat Work Session on Demographic Projections, Perugia,
  • [16] Italy, 3-7 May 1999.
  • [17] 49 SCB: s modell for befolkningsprognoser. Endokumentation. - Stockholm, Statistiskacentralbyran,
  • [18] 2005.-30 s.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >