Информационные технологии в эконометрике

Реферат

По эконометрике

Эконометрические информационные технологии

СОДЕРЖАНИЕ

Проблемамножественных проверок статистических гипотез. 3

Методыстатистических испытаний (Монте-Карло) и датчики псевдослучайных чисел.

Методыразмножения выборок (бутстреп-методы)

Эконометрикав контроллинге.

Литература…

Проблема множественных проверок статистическихгипотез

Практика примененияэконометрических методов часто выходит за границы классическойматематико-статистической теории. В качестве примера рассмотрим проверкустатистических гипотез.

Базовая теоретическаямодель касается проверки одной-единственной статистической гипотезы. Напрактике же при выполнении того или иного прикладного исследования гипотезызачастую проверяют неоднократно. При этом, как правило, остается неясным, каквлияют результаты предыдущих проверок на характеристики (уровень значимости,мощность) последующих проверок. Есть ли вообще влияние? Как его оценить? Какего учесть при формулировке окончательных выводов?

Изучены лишь некоторыесхемы множественных проверок, например, схема последовательного анализа А.Вальда или схема оценивания степени полинома в регрессии путем последовательнойпроверки адекватности модели (см. главу 5 выше).

В таких исключительныхпостановках удается рассчитать характеристики статистических процедур,включающих множественные проверки статистических гипотез.

Однако в большинствеважных для практики случаев статистические свойства процедур анализа данных,основанных на множественных проверках, остаются пока неизвестными. Примерамиявляются процедуры нахождения информативных подмножеств признаков (коэффициентыдля таких и только таких признаков отличны от 0) в регрессионном анализе иливыявления отклонений параметров в автоматизированных системах управления.

В таких системахпроисходит слежение за большим числом параметров. Резкое изменение значенияпараметра свидетельствует об изменении режима работы системы, что, как правило,требует управляющего воздействия. Существует теория для определения границдопустимых колебаний одного или фиксированного числа параметров. Например,можно использовать контрольные карты Шухарта или кумулятивных сумм, а также ихмногомерные аналоги (см. главу 13).

В подавляющем большинстве постановок,согласно обычно используемым вероятностным моделям, для каждого параметра,находящемся в стабильном («налаженном») состоянии, существует хотя ималая, но положительная вероятность того, что его значение выйдет за заданныеграницы. Тогда система зафиксирует резкое изменение значения параметра(«ложная разладка»).

12 стр., 5531 слов

Курсовая работа: Модели множественной линейной регрессии

... (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования. 2) затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов ... Расчеты для данной курсовой работы производились c помощью приложения MS Excel. 1. Модели м ножественной линейной регрессии Построение уравнения множественной регрессии начинается с решения вопроса ...

При достаточно большом числе параметров свероятностью, близкой к 1, будет обнаружено несколько «случайныхсбоев», среди которых могут «затеряться» и реальные отказыподсистем. Можно доказать, что при большом числе параметров имеется два крайнихслучая — независимых (в совокупности) параметров и функционально связанныхпараметров, а для всех остальных систем вероятность обнаружения резкогоотклонения хотя бы у одного параметра лежит между соответствующимивероятностями для этих двух крайних случаев.

Почему трудно изучатьстатистические процедуры, использующие множественные проверки гипотез? Причинасостоит в том, что результаты последовательно проводящихся проверок, какправило, не являются независимыми (в смысле независимости случайных величин).Более того, последовательность проверок зачастую задается исследователемпроизвольно.

Проблема множественныхпроверок статистических гипотез — часть более общей проблемы«стыковки» (сопряжения) статистических процедур. Дело в том, чтокаждая процедура может применяться лишь при некоторых условиях, а в результатеприменения предыдущих процедур эти условия могут нарушаться. Например, часторекомендуют перед восстановлением зависимости (регрессионным анализом) разбитьданные на однородные группы с помощью какого-либо алгоритма классификации, азатем строить зависимости для каждой из выделенных групп отдельно. Здесь идетречь о «стыковке» алгоритмов классификации и регрессии. Как вытекаетиз рассмотрений главы 5 выше, попадающие в одну однородную группу результатынаблюдений зависимы и их распределение не является нормальным (гауссовым),поскольку они лежат в ограниченной по некоторым направлениям области, а границызависят от всей совокупности результатов наблюдений. При этом при росте объемавыборки зависимость уменьшается, но ненормальность остается Распределениерезультатов наблюдений, попавших в одну группу, приближается не к нормальному,а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа,основанными на «нормальной теории», пользоваться некорректно.Согласно рекомендациям главы целесообразно применять робастную регрессию.

Проблема«стыковки» статистических процедур обсуждается давно. По проблеме«стыковки» был проведен ряд исследований, результаты некоторые изкоторых упомянуты выше, но сколько-нибудь окончательных результатов получено небыло. По нашему мнению, на скорое решение проблемы «стыковки»рассчитывать нельзя. Возможно, она является столь же «вечной», как ипроблема выбора между средним арифметическим и медианой как характеристиками«центра» выборки.

В качестве примераобсудим одно интересное исследование по проблеме повторных проверокстатистических гипотез — работу С.Г. Корнилова [1].

Как уже отмечалось,теоретическое исследование является весьма сложным, сколько-нибудь интересныерезультаты удается получить лишь для отдельных постановок. Поэтому вполнеестественно, что С.Г. Корнилов применил метод статистического моделирования наЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинстваи недостатки различных алгоритмов получения псевдослучайных чисел много летобсуждаются в различных изданиях (см. ниже).

29 стр., 14376 слов

Выпускная квалификационная работа: Экономические проблемы развития малого бизнеса

... государства для поддержания рыночной конкуренции, обеспечения внутренней стабильности и саморазвития этого сектора. Из изложенного выше можно сделать вывод, что тема данной работы: «Экономические проблемы развития ... в ЕС относятся предприятия, не превышающие в результате своей деятельности следующие уровни показателей: количество занятых работников от до 250 человек; годовой оборот менее ...

В работе С.Г. Корниловахорошо моделируется мышление статистика-прикладника. Видно, насколько мешаетустаревшее представление о том, что для проверки гипотез необходимо задаватьопределенный уровень значимости. Особенно оно мешает, если в дальнейшемпонадобятся дальнейшие проверки. Гораздо удобнее использовать «достигаемыйуровень значимости», т.е. вероятность того, что статистика критерия покажетбольшее отклонение от нулевой гипотезы, чем то, что соответствует имеющимся экспериментальнымданным (см. терминологическое приложение 1 в конце книги).

Если есть желание,можно сравнивать «достигаемый уровень значимости» с заданнымизначениями 0,05 или 0,01. Так, если «достигаемый уровень значимости»меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, впротивном случае — принимается. Следует рассчитывать «достигаемый уровеньзначимости» всегда, когда для этого есть вычислительные возможности.

Переход к«достигаемому уровню значимости» может избавить прикладника от ещеодной трудности, связанной с использованием непараметрических критериев. Дело втом, что их распределения, как правило, дискретны, поскольку эти критериииспользуют только ранги наблюдений. Поэтому невозможно построить критерий сзаданным номинальным уровнем значимости, реальный уровень значимости может приниматьлишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01,ни других популярных номинальных значений.

Невозможность построениякритических областей критериев с заданными уровнями значимости затрудняетсравнение критериев по мощности, как это продемонстрировано в работе [2]. Естьформальный способ достичь заданного номинального уровня значимости — провестирандомизацию, т.е. при определенном (граничном) значении статистики критерияпровести независимый случайный эксперимент, в котором одни исходы (с заданнойсуммарной вероятностью) приводят к принятию гипотезы, а остальные — к ееотклонению. Однако подобную процедуру рандомизации прикладнику трудно принять — как оправдать то, что одни и те же экспериментальные данные могут быть основаниемкак для принятия гипотезы, так и для ее отклонения? Вспоминается обложкажурнала «Крокодил», на которой один хозяйственник говорит другому:«Бросим монетку. Упадет гербом — будем строить завод, а упадет решкой — нет». Описанная процедура рандомизации имеет практический смысл лишь примассовой рутинной проверке гипотез, например, при статистическом контролебольших выборок изделий или деталей (см. главу 13, посвященную эконометрикекачества).

У все ещераспространенных критерия Стьюдента и других параметрических статистическихкритериев — свои проблемы. Они исходят из предположения о том, что функциираспределения результатов наблюдений входят в определенные параметрические семействанебольшой размерности. Наиболее распространена гипотеза нормальности распределения.Однако давно известно, что подавляющее большинство реальных распределенийрезультатов измерений не являются нормальными. Об этом говорится, например, вклассической для инженеров и организаторов производства монографии проф.В. В.Налимова [3]. Ряд недавно полученных конкретных экспериментальных фактов итеоретических соображений рассмотрен в главе 4.

Как же быть? Проверятьнормальность распределения своих данных? Но это дело непростое, можно допуститьте или иные ошибки, в частности, применяя критерии типа Колмогорова илиомега-квадрат (одна из наиболее распространенных ошибок состоит в том, что встатистики вместо неизвестных параметров подставляют их оценки, но при этомпользуются критическими значениями, рассчитанными для случая, когда параметрыполностью известны [4]).

33 стр., 16476 слов

Курсовая работа: Организация процесса написания и защиты курсовой работы, критерии оценки

... выполняется курсовая работа), в ней должны описываться исследуемая проблема, содержаться элементы сравнительного анализа, обоснованные суждения, позиция студента по данной проблематике. В работе могут излагаться ... на своём заседании. Окончательный список студентов, распределённых на кафедры для написания курсовых работ, вывешивается на информационном стенде Учебного отдела или на сайте ...

Кроме того, для сколько-нибудь надежной проверкинормальности нужны тысячи наблюдений (см. главу 4).

Поэтому в подавляющембольшинстве реальных задач нет оснований принимать гипотезу нормальности. Влучшем случае можно говорить о том, что распределение результатов наблюдениймало отличается от нормального.

Как влияют отклонения отнормальности на свойства статистических процедур? Для разных процедур — разныйответ. Если речь идет об отбраковке выбросов — влияние отклонений отнормальности настолько велико, что делает процедуру отбраковки с практическойточки зрения эвристической, а не научно обоснованной (см. главу 4).

Если жеречь идет о проверке однородности двух выборок с помощью критерия Стьюдента(при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (приотсутствии такого предположения), то при росте объемов выборок влияниеотклонений от нормальности убывает, как это подробно показано в главе 4).

Этовытекает из Центральной Предельной Теоремы. Правда, при этом оказывается, чтопроцентные точки распределения Стьюдента не приносят реальной пользы,достаточно использовать процентные точки предельного нормального распределения.

Весьма важнаобсуждаемая, в частности, в работе [1] постоянно встающая перед эконометрикомпроблема выбора того или иного статистического критерия для решения конкретнойприкладной задачи. Например, как проверять однородность двух независимыхвыборок числовых результатов наблюдений? Известны параметрические критерии:Стьюдента, Лорда; непараметрические: Крамера-Уэлча, Вилкоксона,Ван-дер-Вардена, Сэвиджа, Мартынова, Смирнова, типа омега-квадрат(Лемана-Розенблатта) и многие другие (см., например, главу 4 и справочник [5]).Какой из них выбрать для конкретных расчетов?

Некоторые авторы предлагаютформировать технологию принятия статистического решения, согласно которойрешающее правило формируется на основе комбинации нескольких критериев.Например, технология может предусматривать проведение «голосования»:если из 5 критериев большинство «высказывается» за отклонениегипотезы, то итоговое решение — отвергнуть ее, в противном случае — принять.Эти авторы не всегда понимают, что в их подходе нет ничего принципиальнонового, просто к уже имеющимся критериям они добавляют их комбинации — очередныеварианты, тем или иным образом выделяющие критические области в пространствахвозможных значений результатов измерений, т.е. увеличивают числорассматриваемых критериев.

Итак, имеется некотораясовокупность критериев. У каждого — свой набор значений уровней значимости имощностей на возможных альтернативах. Математическая статистика демонстрирует вэтой ситуации виртуозную математическую технику для анализа частных случаев иполную беспомощность при выдаче практических рекомендаций. Так, оказывается,что практически каждый из известных критериев является оптимальным в том илиином смысле для какого-то набора нулевых гипотез и альтернатив. Математикиизучают асимптотическую эффективность в разных смыслах — по Питмену, поБахадуру и т.д., но — для узкого класса альтернативных гипотез, обычно дляальтернативы сдвига. При попытке переноса асимптотических результатов наконечные объемы выборок возникают новые нерешенные проблемы, связанные, вчастности, с численным оцениванием скорости сходимости (см. главу 10).

12 стр., 5580 слов

Курсовая работа: Статистико-экономический анализ эффективности производства молока в сельскохозяйственных организациях по группе районов Самарской области

... В работе использовались методы исследования: монографический, балансовый, статистический, приемы сравнения, индексного анализа, корреляционно-регрессионный анализ ... 2012 года занимает 1 место в ПФО по темпам роста поголовья ... В конце января Минэкономразвития обнародовало прогноз социально-экономического развития РФ до 2030 года, в ... . Так, по данным специалистов компании «Экомилк», в 2013-2014 годах ...

В целомэта область математической статистики может активно развиваться еще многиедесятилетия, выдавая «на гора» превосходные теоремы (которые могутпослужить основанием для защит кандидатских и докторских диссертаций, выборов вакадемики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этотпессимистический прогноз не вполне оправдался!

С точки зренияэконометрики и прикладной статистики необходимо изучать проблему выборакритерия проверки однородности двух независимых выборок. Такое изучение былопроведено, в том числе методом статистических испытаний, и в результате былполучен вывод о том, что наиболее целесообразно применять критерийЛемана-Розенблатта типа омега-квадрат (см. главу 4).

В литературе поприкладным статистическим методам, как справедливо замечает С.Г. Корнилов вработе [1], имеется масса ошибочных рекомендаций. Чего стоят хотя быпринципиально неверные государственные стандарты СССР по статистическимметодам, а также соответствующие им стандарты СЭВ и ИСО, т.е. Международнойорганизации по стандартизации. Особо выделяются своим количеством ошибочныерекомендации по применению критерия Колмогорова для проверки нормальности (см.ссылки в работе [4]).

Ошибки есть и в научных статьях, и в нормативныхдокументах (государственных стандартах), и в методических разработках, и даже ввузовских учебниках. К сожалению, нет способа оградить инженера и научногоработника, экономиста и менеджера, нуждающихся в применении эконометрических истатистических методов, от литературных источников и нормативно-технических иинструктивно-методических документов с ошибками, неточностями и погрешностями.Единственный способ — либо постоянно поддерживать профессиональные контакты сквалифицированными специалистами в эконометрике, либо самому стать такимспециалистом.

Как оценить достигаемыйуровень значимости конкретного критерия, предусматривающего повторные проверки?Сразу ясно, что в большинстве случаев никакая современная теория математическойстатистики не поможет. Остается использовать современные компьютеры. Методикастатистического моделирования, описанная в работе [1], может стать ежедневнымрабочим инструментом специалиста, занимающегося применением эконометрическихметодов. Для этого она должна быть реализована в виде соответствующей диалоговойпрограммной системы. Современные персональные компьютеры позволяют проводитьстатистическое моделирование весьма быстро (за доли секунд).

Можно использоватьразличные модификации бутстрепа — одного из вариантов применения статистическогомоделирования (см. ниже).

Проведенное обсуждениепоказывает, как много нерешенных проблем стоит перед специалистом,занимающимся, казалось бы, рутинным применением стандартных статистическихпроцедур. Эконометрика — молодая наука, ее основные проблемы, по нашему мнению,еще не до конца решены. Много работы как в сравнительно новых областях,например, в анализе нечисловых и интервальных данных (см. главы 8 и 9 выше),так и в классических.

9 стр., 4256 слов

Реферат: Статистические методы анализа экономических явлений

... . Статистический анализ данных проводится в неразрывной связи теоретического,качественного анализа сущности ... статистической совокупности на классы, социально-экономические типы, однородные группы единиц. В ... метода Раздел 1. Метод группировок, 1. 1 Метод группировки и его место в системе статистических методов информацию, полученную в ... шириной интервалов. В матемаической статистике используется следующая ...

Проблемы разработки и обоснования статистических технологий

В настоящем пункте рассматриваются проблемы практическогоиспользования эконометрических методов для системного анализа конкретныхэкономических данных. При этом применяются не отдельные методы описания данных,оценивания, проверки гипотез, а развернутые цельные процедуры — так называемые«статистические технологии». Понятия «статистическиетехнологии» или «эконометрические технологии» аналогичны понятию«технологический процесс» в теории организации производства.

Статистические технологии. Поскольку термин«технология» сравнительно редко используется применительно кэконометрике и статистике, поясним суть рассматриваемой проблемы.Статистический анализ конкретных экономических данных, как правило, включает всебя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельноили по более сложной схеме. В частности, с точки зрения менеджера эконометрическогопроекта можно выделить следующие этапы:

  • планирование статистического исследования (включаяразработку форм учета, их апробацию; подготовку сценариев интервью и анализаданных и т.п.);
  • организация сбора необходимых статистических данных пооптимальной или рациональной программе (планирование выборки, созданиеорганизационной структуры и подбор команды статистиков, подготовка кадров,которые будут заниматься сбором данных, а также контролеров данных и т.п.);
  • непосредственный сбор данных и их фиксация на тех или иныхносителях (с контролем качества сбора и отбраковкой ошибочных данных посоображениям предметной области);
  • первичное описание данных (расчет различных выборочныххарактеристик, функций распределения, непараметрических оценок плотности,построение гистограмм, корреляционных полей, различных таблиц и диаграмм ит.д.),
  • оценивание тех или иных числовых или нечисловыххарактеристик и параметров распределений (например, непараметрическоеинтервальное оценивание коэффициента вариации или восстановление зависимостимежду откликом и факторами, т.е.

оценивание функции),

  • проверка статистических гипотез (иногда их цепочек — послепроверки предыдущей гипотезы принимается решение о проверке той или инойпоследующей гипотезы; например, после проверки адекватности линейнойрегрессионной модели и отклонения этой гипотезы может проверяться адекватностьквадратичной модели),
  • более углубленное изучение, т.е.

одновременное применениеразличных алгоритмов многомерного статистического анализа, алгоритмовдиагностики и построения классификации, статистики нечисловых и интервальныхданных, анализа временных рядов и др.;

  • проверка устойчивости полученных оценок и выводовотносительно допустимых отклонений исходных данных и предпосылок используемыхвероятностно-статистических моделей, в частности, изучение свойств оценокметодом размножения выборок и другими численными методами;
  • применение полученных статистических результатов вприкладных целях, т.е.

для формулировки выводов в терминах содержательнойобласти (например, для диагностики конкретных материалов, построения прогнозов,выбора инвестиционного проекта из предложенных вариантов, нахожденияоптимальных режима осуществления технологического процесса, подведения итоговиспытаний образцов технических устройств и др.),

45 стр., 22031 слов

Дипломная работа: Анализ применения новых информационных технологий в деятельности предприятия

... преобразования, произошедшие в последние годы в сфере информационных технологий и приведшие к массовому внедрению в практику управления персональных компьютеров и связанных с ними интерактивных технологий, распределенной обработки данных, основанных на диалоге ...

  • составление итоговых отчетов, в частности, предназначенныхдля тех, кто не является специалистами в статистических методах анализа данных,в том числе для руководства — «лиц, принимающих решения».

Возможны и многие иные структуризации различныхстатистических технологий (см., например, аналогичную схему для процедурэкспертных оценок в главе 12).

Важно подчеркнуть, что квалифицированное ирезультативное применение статистических методов — это отнюдь не проверка однойотдельно взятой статистической гипотезы или оценка характеристик или параметроводного заданного распределения из фиксированного семейства. Подобного родаоперации — только отдельные кирпичики, из которых складывается статистическаятехнология. Между тем учебники и монографии по статистике обычно рассказываюттолько об отдельных кирпичиках, но не обсуждают проблемы их организации втехнологию, предназначенную для прикладного использования.

Итак, процедура статистического анализа данных – этоинформационный технологический процесс, другими словами, та или инаяинформационная технология. Статистическая информация подвергается разнообразнымоперациям (последовательно, параллельно или по более сложным схемам).

Внастоящее время об автоматизации всего процесса статистического анализа данныхговорить было бы несерьезно, поскольку имеется слишком много нерешенныхпроблем, вызывающих дискуссии среди эконометриков и статистиков. Так называемые«экспертные системы» в области статистического анализа данных пока нестали рабочим инструментом статистиков. Ясно, что и не могли стать. Можносказать и жестче — это пока научная фантастика или даже вредная утопия.

Проблема «стыковки» алгоритмов. В литературестатистические технологии рассматриваются явно недостаточно. В частности,обычно все внимание сосредотачивается на том или ином элементе технологическойцепочки, а переход от одного элемента к другому остается в тени. Между темпроблема «стыковки» статистических алгоритмов, как известно, требуетспециального рассмотрения (см. предыдущий пункт настоящей главы), поскольку врезультате использования предыдущего алгоритма зачастую нарушаются условияприменимости последующего. В частности, результаты наблюдений могут перестатьбыть независимыми, может измениться их распределение и т.п.

Так, вполне резонной выглядит рекомендация: сначала разбейтеданные на однородные группы, а потом в каждой из групп проводите статистическуюобработку, например, регрессионный анализ. Однако эта рекомендация подкажущейся прозрачностью содержит подводные камни. Действительно, как поставитьзадачу в вероятностно-статистических терминах? Если, как обычно, примем, чтоисходные данные — это выборка, т.е. совокупность независимых одинаковораспределенных случайных элементов, то классификация приведет к разбиению этихэлементов на группы. В каждой группе элементы будут зависимы между собой, а ихраспределение будет зависеть от группы, куда они попали. Отметим, что в типовыхситуациях границы классов стабилизируются, а это значит, что асимптотическиэлементы кластеров статновятся независимыми. Однако их распределение не можетбыть нормальным. Например, если исходное распределение было нормальным, тораспределения в классах будет усеченным нормальным. Это означает, чтонеобходимо пользоваться непараметрическими методами, о чем уже не раз говорилосьв главах 4 и 5 (подробнее этот пример разобран в работе [7]).

13 стр., 6281 слов

Реферат: Статистические и математические методы в экономической науке

... economics. Ed. by M.Blaug. Aldershot: Elgar. 1991. Статистические и математические методы в экономической науке У.С. Джевонс о роли математики в экономической науке. Jevons W.S. Theory of Political Economy ... Economics , 2005, vol. 1, N 2, p.139-153 (HSE E-library) История экономической мысли как отрасль знания – особенности, современное состояние, перспективы / (а) Klaes, M. 2001. ...

Разберем другой пример При проверке статистических гипотезбольшое значение имеют такие хорошо известные характеристики статистическихкритериев, как уровень значимости и мощность. Методы их расчета и использованияпри проверке одной гипотезы обычно хорошо известны. Если же сначала проверяетсяодна гипотеза, а потом с учетом результатов ее проверки (конкретнее, еслипервая гипотеза принята) — вторая, то итоговая процедура, которую также можнорассматривать как проверку некоторой (более сложной) статистической гипотезы,имеет характеристики (уровень значимости и мощность), которые, как правило,нельзя простыми формулами выразить через характеристики двух составляющихгипотез, а потому они обычно неизвестны. Лишь в некоторых простых случаяххарактеристики итоговой процедуры можно рассчитать (см. примеры в главе 13).

Врезультате итоговую процедуру нельзя рассматривать как научно обоснованную, онаотносится к эвристическим алгоритмам. Конечно, после соответствующего изучения,например, методом Монте-Карло, она может войти в число научно обоснованныхпроцедур эконометрики или прикладной статистики.

О термине «высокие статистические технологии». Какпонятно, технологии бывают разные. Бывают адекватные и неадекватные,современные и устаревшие. Обратим внимание на термин «высокиетехнологии». Он популярен в современной научно-технической литературе ииспользуется для обозначения наиболее передовых технологий, опирающихся напоследние достижения научно-технического прогресса. Есть такие технологии исреди технологий эконометрического и статистического анализа данных — как влюбой интенсивно развивающейся научно-практической области.

Примеры высоких эконометрических и статистических технологийи входящих в них алгоритмов анализа экономических данных постоянно обсуждаютсяна страницах настоящей книги. Подробный анализ современного состояния и перспективразвития эконометрики дан в главе при обсуждении “точек роста” нашейнаучно-практической дисциплины. В этой главе в качестве примеров «высокихстатистических технологий» выделены технологии непараметрического анализаданных (см. главы 4, 5 и 6); устойчивые (робастные) технологии (см. главу 10);технологии, основанные на размножении выборок (см. ниже в настоящей главе), наиспользовании достижений статистики нечисловых данных (см. главы 8 и 12) истатистики интервальных данных (см. главу 9).

Подробнее обсудим здесь пока не вполне привычный термин«высокие статистические технологии». Каждое из трех слов несет своюсмысловую нагрузку.

«Высокие», как и в других научно-техническихобластях, означает, что статистическая технология опирается на современныенаучные достижения и передовой опыт реальной деятельности, а именно, достиженияэконометрической и статистической теории и практики, в частности, насовременные результаты теории вероятностей и прикладной математическойстатистики. При этом формулировка «опирается на современные научныедостижения» означает, во-первых, что математическая основа технологииполучена сравнительно недавно в рамках соответствующей научной дисциплины,во-вторых, что алгоритмы расчетов разработаны и обоснованы в соответствии с нею(а не являются т. н. «эвристическими»).

25 стр., 12229 слов

Выпускная квалификационная работа: Совершенствование технологии посадки и возделывания картофеля в СПК «Родина» Щекинского района

... картофеля составляет 35-45 т/га. Она достигается за счет использования качественного семенного материала, современных технологий и высокопроизводительной техники, поэтому экономическая ... . Большая часть пашни используется для возделывания зерновых культур. Наибольшую часть продукции растениеводства ... протравливание клубней методом распыления препаратов. При этом достигаются их равномерное покрытие ...

Со временем, если новыеподходы и результаты не заставляют пересмотреть оценку применимости ивозможностей технологии, заменить ее на более современную, «высокиестатистические технологии» переходят в «классические статистическиетехнологии», такие, как метод наименьших квадратов. Как известно, несмотряна солидный возраст (более 200 лет), метод наименьших квадратов остается однимиз наиболее часто используемых эконометрических методов. Итак, высокиестатистические технологии — плоды недавних серьезных научных исследований.Здесь два ключевых понятия — «молодость» технологии (во всякомслучае, не старше лет, а лучше — не старше или лет), и опора на«высокую науку».

Термин «статистические» привычен, но разъяснитьего нелегко. Во всяком случае, к деятельности Государственного комитета РФ постатистике высокие статистические технологии непосредственного отношения неимеют. В главе 1 уже шла речь о том разрыве между различными группами лиц,употребляющих термин «статистика», который имеется в нашей стране.Впрочем, сам термин «статистика» пррошел долгий путь. Как известно,сотрудники проф.В. В. Налимова, одного из наиболее известных отечественныхстатистиков ХХ в., собрали более 200 определений термина «статистика»[8]. Полемика вокруг терминологии иногда принимает весьма острые формы (см.,например, редакционные замечания к статье [9], написанные в стиле известныхвысказываний о генетике и кибернетике 1940-х годов — впрочем, каких-либоорганизационных выводов не последовало).

Современное представление отерминологии в области теории вероятностей и прикладной математическойстатистики отражено в приложении 1 к настоящей книге, подготовленной впротивовес распространенным ошибкам и неточностям в этой области. В частности,с точки зрения эконометрики статистические данные – это результаты измерений,наблюдений, испытаний, анализов, опытов, а «статистическиетехнологии» — это технологии анализа статистических данных.

Всегда ли нужны «высокие статистические технологии»?«Высоким статистическим технологиям» противостоят, естественно,«низкие статистические технологии» (а между ними расположены«классические статистические технологии»).

Это те технологии, которыене соответствуют современному уровню науки и практики. Обычно они одновременнои устарели, и не вполне адекватны сути решаемых эконометрических истатистических задач.

Примеры таких технологий неоднократно критическирассматривались, в том числе и на страницах этой книги. Достаточно вспомнитькритику использования критерия Стьюдента для проверки однородности приотсутствии нормальности и равенства дисперсии или критику примененияклассических процентных точек критериев Колмогорова и омега-квадрат вситуациях, когда параметры оцениваются по выборке и эти оценки подставляются в«теоретическую» функцию распределения (подробный разбор проведен,например, в работе [4]).

Приходилось констатировать широкое распространениетаких порочных технологий и конкретных алгоритмов, в том числе вгосударственных и международных стандартах (перечень ошибочных стандартов дан вработе [10]), учебниках и распространенных пособиях. Тиражирование ошибокпроисходит обычно в процессе обучения в вузах или путем самообразования прииспользовании недоброкачественной литературы.

На первый взгляд вызывает удивление устойчивость«низких статистических технологий», их постоянное возрождение во всеновых статьях, монографиях, учебниках. Поэтому, как ни странно, наиболее«долгоживущими» оказываются не работы, посвященные новым научнымрезультатам, а публикации, разоблачающие ошибки, типа статьи [4]. Прошло больше15 лет с момента ее публикации, но она по-прежнему актуальна, посколькуошибочное применение критериев Колмогорова и омега-квадрат по-прежнемураспространено.

Целесообразно рассмотреть здесь по крайней мере четыреобстоятельства, которые определяют эту устойчивость ошибок.

Во-первых, прочно закрепившаяся традиция. Учебники по т. н.«Общей теории статистики», написанные «чистыми»экономистами (поскольку учебная дисциплина «Статистика» официальноотносится к экономике), если беспристрастно проанализировать их содержание,состоят в основном из введения в прикладную статистику, изложенного в стиле«низких статистических технологий», т.е. на уровне 1950-х годов, а вомногом и на уровне начала ХХ в… К «низкой» прикладной статистикедобавлена некоторая информация о деятельности органов Госкомстата РФ.Некорректно обвинять только экономистов — примерно таково же положение состатистическими методами в медицине: одни и те же «низкие статистические технологии»переписываются из книги в книгу. Новое поколение, обучившись ошибочнымподходам, идеям, алгоритмам, их использует, а с течением времени и достижениемдолжностей, ученых званий и степеней – пишет новые учебники со старымиошибками.

Второе обстоятельство связано с большими трудностями приоценке экономической эффективности применения статистических методов вообще ипри оценке вреда от применения ошибочных методов в частности. (А без такойоценки как докажешь, что «высокие статистические технологии» лучше«низких»?) Некоторые соображения по первому из этих вопросовприведены в статье [9], содержащей оценки экономической эффективности рядаработ по применению статистических методов (см. также главу 13, посвященнуюэконометрике качества).

При оценке вреда от применения ошибочных методовприходится учитывать, что общий успех в конкретной инженерной или научнойработе вполне мог быть достигнут вопреки применению ошибочных методов, за счет«запаса прочности» других составляющих общей работы. Например, преимуществоодного технологического приема над другим можно продемонстрировать как спомощью критерия Крамера-Уэлча проверки равенства математических ожиданий (чтоправильно), так и с помощью двухвыборочного критерия Стьюдента (что, вообщеговоря, неверно, т. к. обычно не выполняются условия применимости этогокритерия — нет ни нормальности распределения, ни равенства дисперсий).

Крометого, приходится выдерживать натиск невежд, защищающих свои ошибочные работы,например, государственные стандарты. Вместо исправления ошибок применяютсясамые разные приемы бюрократической борьбы с теми, кто разоблачает ошибки.

Третье существенное обстоятельство – трудности сознакомством с высокими статистическими технологиями. В нашей стране в силу рядаисторических обстоятельств развития статистических методов и эконометрики (см.главу 1) в течение последних лет только журнал «Заводскаялаборатория» предоставлял такие возможности. К сожалению, потоксовременных отечественных и переводных статистических книг, выпускавшихся ранее,в частности, издательствами «Наука», «Мир», “Финансы истатистика”, практически превратился в узкий ручеек… Возможно, болеесущественным является влияние естественной задержки во времени между созданием«новых статистических технологий» и написанием полноценной и объемнойучебной и методической литературы. Она должна позволять знакомиться с новойметодологией, новыми методами, теоремами, алгоритмами, методами расчетов иинтерпретации ихъ результатов, статистическими технологиями в целом не пократким оригинальным статьям, а при обычном вузовском и последипломномобучении.

И, наконец, наиболее важное. Всегда ли нужны высокиестатистические технологии? Приведем аналогию — нужна ли современнаясельскохозяйственная техника для обработки приусадебногоучастка? Нужны литрактора и комбайны? Может быть, достаточно технологий, основанных наиспользовании лопаты? Вернемся к данным государственной статистики. Применяютсястатистические технологии первичной обработки (описания) данных, основанные напостроении разнообразных таблиц, диаграмм, графиков. Большинство потребителейстатистической информации это представление данных удовлетворяет. Итак, чтобывысокие статистические технологии успешно использовались, необходимы дваусловия: чтобы они были объективно нужны для решения практической задачи ичтобы потенциальный пользователь технологий субъективно понимал это.

Таким образом, весь арсенал реально используемых в настоящеевремя эконометрических и статистических технологий можно распределить по тремпотокам:

  • высокие статистические технологии;
  • классические статистические технологии,

низкие статистические технологии.

Под классическими статистическими технологиями, как ужеотмечалось, понимаем технологии почтенного возраста, сохранившие свое значениедля современной статистической практики. Таковы технололгии на основе методанаименьших квадратов (включая методы точечного оценивания параметровпрогностической функции, непараметрические методы доверительного оцениванияпараметров, прогностической функции, проверок различных гипотез о них — см.главу 5), статистик типа Колмогорова, Смирнова, омега-квадрат,непараметрических коэффициентов корреляции Спирмена и Кендалла (относить ихтолько к методам анализа ранжировок — значит делать уступку «низкимстатистическим технологиям», см. главу 5) и многих других статистическихпроцедур.

Основная современная проблема в области эконометрических истатистических технологий состоит в том, чтобы в конкретных эконометрическихисследованиях использовались только технологии первых двух типов.

Каковы возможные пути решения основной современной проблемыв области статистических технологий?

Бороться с конкретными невеждами — дело почти безнадежное.Отстаивая свое положение и должности, они либо нагло игнорируют информацию освоих ошибках, как это обычно делают авторы учебников по «Общей теориистатистики» и их издатели, либо с помощью различных бюрократическихприемов уходят и от ответственности, и от исправления ошибок по существу (какэто было со стандартами по статистическим методам — см. статью [10]).

Третийвариант — признание и исправление ошибок — встречается, увы, редко. Новстречается.

Конечно, необходима демонстрация квалифицированногоприменения высоких статистических технологий. В 1960-70-х годах этим занималасьЛаборатория статистических методов акад.А.Н. Колмогорова в МГУ им. М.В.Ломоносова. Секция «Математические методы исследования» журнала«Заволская лаборатория» опубликовала за последние лет более 1000статей в стиле «высоких статистических технологий». В настоящее времядействует Институт высоких статистических технологий и эконометрики МГТУ им.Н.Э. Баумана. Есть, конечно, целый ряд других научных коллективов, работающихна уровне «высоких статистических технологий».

Очевидно, самое основное — это обучение. Какие бы новыенаучные результаты ни были получены, если они остаются неизвестными студентам,то новое поколение экономистов ии менеджеров, исследователей и инженероввынуждено осваивать их поодиночке, в порядке самообразования, а то ипереоткрывать.Т. е. практически новые научные результаты почти исчезают, едвапоявившись. Как ни странно это может показаться, избыток научных публикацийпревратился в тормоз развития науки. По нашим данным, к настоящему времени поэконометрическим и статистическим технологиям опубликовано не менее миллионастатей и книг, в основном во второй половине ХХ в., из них не менее 100 тысячявляются актуальными для современного специалиста. При этом реальное числопубликаций, которые способен освоить исследователь за свою проофессиональнуюжизнь, по нашей оценке, не превышает 2-3 тысяч. Во всяком случае, в наиболее«толстом» на русском языке трехтомнике по статистике М. Дж. Кендаллаи А. Стьюарта приведено около 2 тысяч литературных ссылок. Итак, каждыйисследователь-эконометрик знаком не более чем с 2-3% актуальных для неголитературных источников. Поскольку существенная часть публикаций заражена«низкими статистическими технологиями», то исследователь-самоучка,увы, имеет мало шансов выйти на уровень «высоких статистических технологий».С подтверждениями этого печального вывода постоянно приходится сталкиваться.Одновременно приходится констатировать, что масса полезных результатов погребенав изданиях прошлых десятилетий и имеет мало шансов пробиться в ряды используемыхв настоящее время «высоких статистических технологий» без специальноорганизованных усилий современных специалистов.

Итак, основное — обучение. Несколько огрубляя, можно сказатьтак: что попало в учебные курсы и соответствующие учебные пособия — тосохраняется, что не попало — то пропадает.

Необходимость высоких статистических технологий. Можетвозникнуть естественный вопрос: зачем нужны высокие статистические технологии,разве недостаточно обычных статистических методов? Специалисты по эконометрикесправедливо считают и доказывают своими теоретическими и прикладными работами,что совершенно недостаточно. Так, совершенно очевидно, что многие данные винформационных системах имеют нечисловой характер, например, являются словамиили принимают значения из конечных множеств. Нечисловой характер имеют иупорядочения, которые дают эксперты или менеджеры, например, выбирая главнуюцель, следующую по важности и т.д. Значит, нужна статистика нечисловых данных.Мы ее построили. Далее, многие величины известны не абсолютно точно, а снекоторой погрешностью — от и до. Другими словами, исходные данные — не числа,а интервалы. Нужна статистика интервальных данных. Мы ее развиваем. В широкоизвестной монографии по контроллингу [11] на с.138 хорошо сказано:«Нечеткая логика — мощный элегантный инструмент современной науки, которыйна Западе (и на Востоке — в Японии, Китае — А. О) можно встретить в десяткахизделий — от бытовых видеокамер до систем управления вооружениями, — у нас досамого последнего времени был практически неизвестен». Напомним, перваямонография российского автора по теории нечеткости содержит основы высокихстатистических технологий анализа выборок нечетких множеств (см. книгу [12]).Ни статистики нечисловых данных, ни статистики интервальных данных, нистатистики нечетких данных нет и не могло быть в классической статистике. Всеэто — высокие статистические технологии. Они разработаны за последние 10-30-50лет. А обычные вузовские курсы по общей теории статистики и по математическойстатистике разбирают научные результаты, полученные в первой половине ХХ века.

Важная и весьма перспективная часть эконометрики — применение высоких статистических технологий к анализу конкретных экономическихданных, что зачастую требует дополнительной теоретической работы по доработкестатистических технологий применительно к конкретной ситуации. Большое значениеимеют конкретные эконометрические модели, например, модели экспертных оценокили эконометрики качества. И конечно, такие конкретные применения, как расчет ипрогнозирование индекса инфляции. Сейчас уже многих ясно, что годовойбухгалтерский баланс предприятия может быть использован для оценки егофинансово-хозяйственной деятельности только с привлечением данных об инфляции(см. главу 7).

О подготовке специалистов по высоким статистическимтехнологиям. Приходится с сожалением констатировать, что в России практическиотсутствует подготовка специалистов по высоким статистическим технологиям. Вкурсах по теории вероятностей и математической статистике обычно даются лишьклассические основы этих дисциплин, разработанные в первой половине ХХ в., апреподаватели-математики свою научную деятельность предпочитают посвящатьдоказательству теорем, имеющих лишь внутриматематическое значение, а неразвитию высоких статистических технологий. В настоящее время появилась надеждана эконометрику. В России начинают развертываться эконометрические исследованияи преподавание эконометрики. Экономисты, менеджеры и инженеры, прежде всегоспециалисты по контроллингу, должны быть вооружены современными средствамиинформационной поддержки, в том числе высокими статистическими технологиями иэконометрикой. Очевидно, преподавание должно идти впереди практическогоприменения. Ведь как применять то, чего не знаешь?

Приведем два примера — отрицательный и положительный, — показывающие связь преподавания с внедрением передовых технологий.

Один раз — в 1990-1992 гг. мы уже обожглись на недооценкенеобходимости предварительной подготовки тех, для кого предназначенысовременные программные продукты. Наш коллектив (Всесоюзный центрстатистических методов и информатики Центрального Правления Всесоюзногоэкономического общества) разработал систему диалоговых программных системобеспечения качества продукции. Их созданием руководили ведущие специалистыстраны. Но распространение программных продуктов шло на 1-2 порядка медленнее,чем мы ожидали. Причина стала ясна не сразу. Как оказалось, работникипредприятий просто не понимали возможностей разработанных систем, не знали,какие задачи можно решать с их помощью, какой экономический эффект они дадут. Ане понимали и не знали потому, что в вузах никто их не учил статистическимметодам управления качеством. Без такого систематического обучения нельзяобойтись — сложные концепции «на пальцах» за 5 минут не объяснишь.

Есть и противоположный пример — положительный. В середине1980-х годов в советской средней школе ввели новый предмет«Информатика». И сейчас молодое поколение превосходно владееткомпьютерами, мгновенно осваивая быстро появляющиеся новинки, и этим заметноотличается от тех, кому за 30-40 лет.

Если бы удалось ввести в средней школе курс теориивероятностей и статистики — а такой курс есть в Японии и США, Швейцарии, Кениии Ботсване, почти во всех странах (и ЮНЕСКО проводит всемирные конференции попреподаванию математической статистики в средней школе — см сборник докладов[13]) — то ситуация с внедрением высоких статистических технологий могла быбыть резко улучшена. Надо, конечно, добиться того, чтобы такой курс былпостроен на высоких статистических технологиях, а не на низких. Другимисловами, он должен отражать современные достижения, а не концепции пятидесятилетнейили столетней давности.

Методы статистических испытаний (Монте-Карло) идатчики псевдослучайных чисел

Многие эконометрическиеинформационные технологии опираются на использование методов статистическихиспытаний. Этот термин применяется для обозначения компьютерных технологий, вкоторых в эконометрическую модель искусственно вводится большое число случайныхэлементов. Обычно моделируется последовательность независимых одинаковораспределенных случайных величин или же последовательность, построенная наоснове такой, например, последовательность накапливающихся (кумулятивных) сумм.

Необходимость в методестатистических испытаний возникает потому, что чисто теоретические методы даютточное решение, как правило, лишь в исключительных случаях. Либо тогда, когдаисходные случайные величины имеют вполне определенные функции распределения,например, нормальные, чего, как правило, не бывает. Либо когда объемы выборокочень велики (с практической точки зрения — бесконечны).

Эта проблема ужеобсуждалась в главе 10.

Не только в чистоэконометрических задачах обработки статистических данных возникаетнеобходимость в методе статистических испытаний. Она не менее актуальна и приэкономико-математическом моделировании технико-экономических и торговых процессов.Представим себе всем знакомый объект — торговый зал самообслуживания по продажепродовольственных товаров. Сколько нужно работников в зале, сколько касс?Необходимо просчитать загрузку в разное время суток, в разные сезоны года, сучетом замены товаров и смены сотрудников. Нетрудно увидеть, что теоретическомуанализу подобная система не поддается, а компьютерному — вполне.

Методы статистическихиспытаний стали развиваться после второй мировой войны с появлениемкомпьютеров. Второе название — методы Монте-Карло — они получили по наиболееизвестному игорному дому, а точнее, по его рулетке, поскольку исходный материалдля получения случайных чисел с произвольным распределением — это случайныенатуральные числа.

В методах статистическихиспытаний можно выделить две составляющие. Базой являются датчикипсевдослучайных чисел. Результатом работы таких датчиков являютсяпоследовательности чисел, которые обладают некоторыми свойствами последовательностейслучайных величин (в смысле теории вероятностей).

Надстройкой являются различныеалгоритмы, использующие последовательности псевдослучайных чисел.

Что же это могут быть заалгоритмы? Приведем примеры. Пусть мы изучаем распределение некоторойстатистики при заданном объеме выборки. Тогда естественно много раз (например,100000 раз) смоделировать выборку заданного объема (т.е. набор независимыходинаково распределенных случайных величин) и рассчитать значение статистики.Затем по 100000 значениям статистики можно достаточно точно построить функциюраспределения изучаемой статистики, оценить ее характеристики. Однако эта схемагодится лишь для так называемой «свободной от распределения»статистики, распределение которой не зависит от распределения элементоввыборки. Если же такая зависимость есть, то одной точкой моделирования необойдешься, придется много раз моделировать выборку, беря различныераспределения, меняя параметры. Чтобы общее время моделирования былоприемлемым, возможно, придется сократить число моделирований в одной точке,зато увеличив общее число точек. Точность моделирования может быть оценена пообщим правилам выборочных обследований (см. главу 2).

Второй пример — частичноописанное выше моделирование работы торгового зала самообслуживания по продажепродовольственных товаров. Здесь одна последовательность псевдослучайных чиселописывает интервалы между появлениями покупателей, вторая, третья и т.д.связаны с выбором ими первого, второго и т.д. товаров в зале (например, число — номер в перечне товаров).

Короче, все действия покупателей, продавцов,работников предприятия разбиты на операции, каждая операция, в продолжительностиили иной характеристике которой имеется случайность, моделируется с помощьюсоответствующей последовательности псевдослучайных чисел. Затем итоги работы сотрудниковторговой организации и зала в целом выражаются через характеристики случайныхвеличин. Формулируется критерий оптимальности, решается задача оптимизации инаходятся оптимальные значения параметров.

Оптимальные планыстатистического контроля, построенные на основе вероятностно-статистическихмоделей, строятся в главе 13.

Теперь обсудим свойствадатчиков псевдослучайных чисел. Здесь стоит слово «псевдослучайные»,а не «случайные». Это весьма важно.

Дело в том, что запоследние лет обсуждались в основном три принципиально разных вариантаполучения последовательностей чисел, которые в дальнейшем использовались вметодах статистических испытаний.

Первый — таблицаслучайных чисел. К сожалению, объем любой таблицы конечен, и сколько-нибудьсложные расчеты с ее помощью невозможны. Через некоторое время приходитсяповторяться. Кроме того, обычно обнаруживались те или иные отклонения отслучайности (см. об этом в работе [9]).

Второй — физические датчики случайных чисел. Основнойнедостаток — нестабильность, непредсказуемые отклонения от заданногораспределения (обычно — равномерного).

Третий — расчетный. В простейшем случае каждый следующийчлен последовательности рассчитывается по предыдущему. Например, так:

/>

где — начальное значение(заданное целое положительное число) M — параметр алгоритма (заданное целоеположительное число), P=2m, где m — число двоичных разрядов представлениячисел, с которыми манипулирует компьютер. Знак />здесь означает теоретико-числовуюоперацию сравнения, т.е. взятие дробной части от /> и отбрасывание целой.

В настоящее время применяется именно третий вариант.Совершенно ясно, что он не соответствует интуитивному представлению ослучайности. Например, интуитивно очевидно, что по предыдущему элементуслучайной последовательности с независимыми элементами нельзя предсказатьзначение следующего элемента. Расчетный путь получения последовательности псевдослучайныхчисел противоречит не только интуиции, но и подходу к определению случайностина основе теории алгоритмов, развитому акад.А.Н. Колмогоровым и его учениками в1960-х годах. Однако во многих прикладных задачах он работает, и это основное.

Методу статистических испытаний посвящена обширнаялитература (см., например, монографии [14-16]).

Время от времени обнаруживаютсянедостатки у популярных датчиков псевдослучайных чисел. Так, например, всередине 1980-х годов выяснилось, что для одного из наиболее известных датчиков

/>

После этого в 1985 г. в журнале «Заводскаялаборатория» началась дискуссия о качестве датчиков псевдослучайных чисел,которая продолжалась до 1993 г. и закончилась статьей проф.С.М. Ермакова [17] инашим комментарием.

Итоги можно подвести так. Во многих случаях решаемая методомстатистических испытаний задача сводится к оценке вероятности попадания внекоторую область в многомерном пространстве фиксированной размерности. Тогдаиз чисто математических соображений теории чисел следует, что с помощьюдатчиков псевдослучайных чисел поставленная задача решается корректно. Сводкасоответствующих математических обоснований приведена, например, в работе С.М.Ермакова [17].

В других случаях приходится рассматривать вероятностипопадания в области в пространствах переменной размерности. Типичным примеромявляется ситуация, когда на каждом шагу проводится проверка, и по еерезультатам либо остаемся в данном пространстве, либо переходим в пространствобольшей размерности. Например, в главе 5 при оценивании степени многочлена либоостанавливались на данной степени, либо увеличивали степень, переходя впараметрическое пространство большей размерности. Так вот, вопрос обобоснованности применения метода статистических испытаний (а точнее, освойствах датчиков псевдослучайных чисел) в случае пространств переменнойразмерности остается в настоящее время открытым. О важности этой проблемыговорил академик РАН Ю.В. Прохоров на Первом Всемирном Конгрессе Обществаматематической статистики и теории вероятностей им. Бернулли (Ташкент, 1986 г).

Имитационное моделирование. Поскольку постоянно говорим омоделировании, приведем несколько общих формулировок.

Модель в общем смысле (обобщенная модель) — это создаваемыйс целью получения и (или) хранения информации специфический объект (в формемысленного образа, описания знаковыми средствами либо материальной системы),отражающей свойства, характеристики и связи объекта-оригинала произвольнойприроды, существенные для задачи, решаемой субъектом (это определение взято измонографии [18, с.44]).

Например, в менеджменте производственных систем используют:

  • модели технологических процессов (контроль и управление потехнико-экономическим критериям, АСУ ТП — автоматизированные системы управлениятехнологическими процессами);
  • модели управления качеством продукции (в частности, моделиоценки и контроля надежности);
  • модели массового обслуживания (теории очередей);
  • модели управления запасами (в современной терминологии — модели логистики, т.е.

теории и практики управления материальными, финансовымии информационными потоками);

  • имитационные и эконометрические модели деятельностипредприятия (как единого целого) и управления им (АСУ предприятием) и др.

Согласно академику РАН Н.Н. Моисееву [19, с.213],имитационная система — это совокупность моделей, имитирующих протеканиеизучаемого процесса, объединенная со специальной системой вспомогательныхпрограмм и информационной базой, позволяющих достаточно просто и оперативнореализовать вариантные расчеты. Другими словами, имитационная система — этосовокупность имитационных моделей. А имитационная модель предназначена дляответов на вопросы типа: «Что будет, если…» Что будет, если параметрыпримут те или иные значения? Что будет с ценой на продукцию, если спрос будетпадать, а число конкурентов расти? Что будет, если государство резко усилит вмешательствов экономику? Что будет, если остановку общественного транспорта перенесут на100 м дальше от входа в торговый зал, о котором шла речь выше, и поток покупателейрезко упадет? Кроме компьютерных моделей, на вопросы подобного типа часто отвечаютэксперты при использовании метода сценариев (см. главу 12).

При имитационном моделировании часто используется методстатистических испытаний (Монте-Карло).

Теорию и практику машинных имитационныхэкспериментов с моделями экономических систем еще лет назад подробноразобрал Т. Нейлор в обширной классической монографии [20]. Вернемся к внутриэконометрическомуприменению датчиков псевдослучайных чисел.

Методы размножения выборок (бутстреп-методы)

Эконометрика иприкладная статистика бурно развиваются последние десятилетия. Серьезным (хотя,разумеется, не единственным и не главным) стимулом является стремительнорастущая производительность вычислительных средств. Поэтому понятен острыйинтерес к статистическим методам, интенсивно использующим компьютеры. Одним изтаких методов является так называемый «бутстреп», предложенный в 1977г.Б. Эфроном из Станфордского университета (США).

Сам термин«бутстреп» — это «bootstrap» русскимибуквами и буквально означает что-то вроде: «вытягивание себя (из болота)за шнурки от ботинок». Термин специально придуман и заставляет вспомнить оподвигах барона Мюнхгаузена.

В истории эконометрикибыло несколько более или менее успешно осуществленных рекламных кампаний. Вкаждой из них «раскручивался» тот или иной метод, который, какправило, отвечал нескольким условиям:

  • по мнению егопропагандистов, полностью решал актуальную научную задачу;
  • был понятен (припостановке задачи, при ее решении и при интерпретации результатов) широкиммассам потенциальных пользователей;
  • использовалсовременные возможности вычислительной техники.

Пропагандисты метода,как правило, избегали беспристрастного сравнения его возможностей свозможностями иных эконометрических методов. Если сравнения и проводились, то сзаведомо слабым «противником».

В нашей стране вусловиях отсутствия систематического эконометрического образования подобныерекламные кампании находили особо благоприятную почву, поскольку у большинствазатронутых ими специалистов не было достаточных знаний в области методологиипостроения эконометрических моделей для того, чтобы составить самостоятельноеквалифицированное мнение.

Речь идет о такихметодах как бутстреп, нейронные сети, метод группового учета аргументов,робастные оценки по Тьюки-Хуберу (см. главу 10), асимптотика пропорциональногороста числа параметров и объема данных и др. Бывают локальные всплески энтузиазма,например, московские социологи в 1980-х годах пропагандировали так называемый«детерминационный анализ» — простой эвристический метод анализатаблиц сопряженности, хотя в Новосибирске в это время давно уже было разработанопродвинутое программное обеспечение анализа векторов разнотипных признаков (см.главу 8).

Однако даже на фоне всехостальных рекламных кампаний судьба бутстрепа исключительна. Во-первых,признанный его автор Б. Эфрон с самого начала признавался, что он ничегопринципиально нового не сделал. Его исходная статья (первая в сборнике [21])называлась: «Бутстреп-методы: новый взгляд на методы складного ножа».Во вторых, сразу появились статьи и дискуссии в научных изданиях, публикациирекламного характера, и даже в научно-популярных журналах. Бурные обсуждения наконференциях, спешный выпуск книг. В 1980-е годы финансовая подоплека всей этойактивности, связанная с выбиванием грантов на научную деятельность, содержаниеучебных заведений и т.п. была мало понятна отечественным специалистам.

В чем основная идея группы методов «размножениявыборок», наиболее известным представителем которых является бутстреп?

Пусть дана выборка />. В вероятностно-статистическойтеории предполагаем, что это — набор независимых одинаково распределенныхслучайных величин. Пусть эконометрика интересует некоторая статистика /> Как изучитьее свойства? Подобными проблемами мы занимались на протяжении всей книги изнаем, насколько это непросто. Идея, которую предложил в 1949 г.М. Кенуй (это иесть «метод складного ножа») состоит в том, чтобы из одной выборкисделать много, исключая по одному наблюдению (и возвращая ранее исключенные).

Перечислимвыборки, которые получаются из исходной:

/>

/>

/>;

/>;

/>;

/>

Всего n новых(размноженных) выборок объемом (n-1) каждая. По каждой из них можно рассчитатьзначение интересующей эконометрика статистики (с уменьшенным на 1 объемомвыборки):

/>

/>

/>

/>

/>

/>

Полученные значениястатистики позволяют судить о ее распределении и о характеристикахраспределения — о математическом ожидании, медиане, квантилях, разбросе,среднем квадратическом отклонении. Значения статистики, построенные по размноженнымподвыборкам, не являются независимыми, однако, как мы видели в главе 5 на примереряда статистик, возникающих в методе наименьших квадратов и в кластер-анализе(при обсуждении возможности объединения двух кластеров), при росте объемавыборки влияние зависимости может ослабевать и со значениями статистик типа />можнообращаться как с независимыми случайными величинами.

Однако и без всякойвероятностно-статистической теории разброс величин />дает наглядное представление отом, какую точность может дать рассматриваемая статистическая оценка.

Сам М. Кенуй и егопоследователи использовали размножение выборок в основном для построения оценокс уменьшенным смещением. А вот Б. Эфрон преложил новый способ размножениявыборок, существенно использующий датчики псевдослучайных чисел. А именно, онпредложил строить новые выборки, моделируя выборки из эмпирическогораспределения (см. определения в терминологическом Приложении 1 в конце книги).Другими словами, Б. Эфрон предложил взять конечную совокупность из n элементовисходной выборки /> и с помощью датчика случайных чисел сформировать из нее любое числоразмноженных выборок. Процедура, хотя и нереальна без ЭВМ, проста с точкизрения программирования. По сравнению с описанной выше процедурой появляютсяновые недостатки — неизбежные совпадения элементов размноженных выборок изависимость от качества датчиков псевдослучайных чисел (см. выше).

Однакосуществует математическая теория, позволяющая (при некоторых предположениях ибезграничном росте объема выборки) обосновать процедуры бутстрепа (см. сборникстатей [21]).

Есть много способовразвития идеи размножения выборок (см., например, статью [22]).

Можно по исходной выборке построить эмпирическуюфункцию распределения, а затем каким-либо образом от кусочно-постоянной функцииперейти к непрерывной функции распределения, например, соединив точки /> отрезкамипрямых. Другой вариант — перейти к непрерывному распределению, построивнепараметрическую оценку плотности. После этого рекомендуется братьразмноженные выборки из этого непрерывного распределения (являющегосясостоятельной оценкой исходного), непрерывность защитит от совпадений элементовв этих выборках.

Другой вариантпостроения размноженных выборок — более прямой. Исходные данные не могут бытьопределены совершенно точно и однозначно. Поэтому предлагается к исходнымданным добавлять малые независимые одинаково распределенные погрешности. Притаком подходе одновременно соединяем вместе идеи устойчивости (см. главу 10) ибутстрепа. При внимательном анализе многие идеи эконометрики тесно друг сдругом связаны (см. статью [22]).

В каких случаяхцелесообразно применять бутстреп, а в каких — другие эконометрические методы? Впериод рекламной кампании встречались, в том числе в научно-популярныхжурналах, утверждения о том, что и для оценивания математического ожиданияполезен бутстреп. Как показано в статье [22], это совершенно не так. Приросте числа испытаний методом Монте-Карло бутстреп-оценка приближается кклассической оценке — среднему арифметическому результатов наблюдений. Другимисловами, бутстреп-оценка отличается от классической только шумомпсевдослучайных чисел.

Аналогичной является ситуация и в ряде других случаев. Там,где эконометрическая теория хорошо развита, где найдены методы анализа данных,в том или иной смысле близкие к оптимальным, бутстрепу делать нечего. А вот вновых областях со сложными алгоритмами, свойства которых недостаточно ясны, онпредставляет собой ценный инструмент для изучения ситуации.

Эконометрика в контроллинге

Контроллеру и сотрудничающему с ним эконометрику нужнаразнообразная экономическая и управленческая информация, не менее нужны удобныеинструменты ее анализа. Следовательно, информационная поддержка контроллинганеобходима для успешной работы контроллера. Без современных компьютерныхинструментов анализа и управления, основанных на продвинутых эконометрических иэкономико-математических методах и моделях, невозможно эффективно приниматьуправленческие решения. Недаром специалисты по контроллингу большое вниманиеуделяют проблемам создания, развития и применения компьютерных систем поддержкипринятия решений. Высокие статистические технологии и эконометрика — неотъемлемые части любой современной системы поддержки принятия экономических иуправленческих решений.

Важная часть эконометрики — применение высокихстатистических технологий к анализу конкретных экономических данных. Такиеисследования зачастую требуют дополнительной теоретической работы по«доводке» статистических технологий применительно к конкретнойситуации. Большое значение для контроллинга имеют не только общие методы, но иконкретные эконометрические модели, например, вероятностно-статистическиемодели тех или иных процедур экспертных оценок (глава 12) или эконометрикикачества (глава 13), имитационные модели деятельности организации, прогнозированияв условиях риска (глава 14).

И конечно, такие конкретные применения, как расчети прогнозирование индекса инфляции. Сейчас уже многим специалистам ясно, что годовойбухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственнойдеятельности только с привлечением данных об инфляции. Различные областиэкономической теории и практики в настоящее время еще далеко не согласованы.При оценке и сравнении инвестиционных проектов принято использовать такиехарактеристики, как чистая текущая стоимость, внутренняя норма доходности,основанные на введении в рассмотрение изменения стоимости денежной единицы вовремени (это осуществляется с помощью дисконтирования).

А при анализефинансово-хозяйственной деятельности организации на основе данных бухгалтерскойотчетности изменение стоимости денежной единицы во времени по традиции неучитывают.

Специалисты по контроллингу должны быть вооруженысовременными средствами информационной поддержки, в том числе средствами наоснове высоких статистических технологий и эконометрики. Очевидно, преподаваниедолжно идти впереди практического применения. Ведь как применять то, чего незнаешь?

Статистические технологии применяют для анализа данных двухпринципиально различных типов. Один из них — это результаты измерений(наблюдений, испытаний, анализов, опытов и др.) различных видов, например,результаты управленческого или бухгалтерского учета, данные Госкомстата и др.Короче, речь идет об объективной информации. Другой — это оценки экспертов, наоснове своего опыта и интуиции делающих заключения относительно экономическихявлений и процессов. Очевидно, это — субъективная информация. В стабильнойэкономической ситуации, позволяющей рассматривать длинные временные ряды техили иных экономических величин, полученных в сопоставимых условиях, данныепервого типа вполне адекватны. В быстро меняющихся условиях приходятсяопираться на экспертные оценки. Такая новейшая часть эконометрики, как статистиканечисловых данных, была создана как ответ на запросы теории и практикиэкспертных оценок (см. главы 8 и 12).

Для решения каких экономических задач может быть полезнаэконометрика? Практически для всех, использующих конкретную информацию ореальном мире. Только чисто абстрактные, отвлеченные от реальности исследованиямогут обойтись без нее. В частности, эконометрика необходима дляпрогнозирования, в том числе поведения потребителей, а потому и дляпланирования. Выборочные исследования, в том числе выборочный контроль,основаны на эконометрике. Но планирование и контроль — основа контроллинга.Поэтому эконометрика — важная составляющая инструментария контроллера,воплощенного в компьютерной системе поддержки принятия решений. Прежде всего оптимальныхрешений, которые предполагают опору на адекватные эконометрические модели. Впроизводственном менеджменте это может означать, например, использованиемоделей экстремального планирования эксперимента (судя по накопленному опыту ихпрактического использования, такие модели позволяют повысить выход полезного продуктана 30-300%).

Высокие статистические технологии в эконометрикепредполагают адаптацию применяемых методов к меняющейся ситуации. Например,параметры прогностического индекса меняются вслед за изменением характеристикиспользуемых для прогнозирования величин. Таков метод экспоненциальногосглаживания. В соответствующем алгоритме расчетов значения временного рядаиспользуются с весами. Веса уменьшаются по мере удаления в прошлое. Многиеметоды дискриминантного анализа основаны на применении обучающих выборок.Например, для построения рейтинга надежности банков можно с помощью экспертовсоставить две обучающие выборки — надежных и ненадежных банков. А затем с ихпомощью решать для вновь рассматриваемого банка, каков он — надежный илиненадежный, а также оценивать его надежность численно, т.е. вычислять значениерейтинга.

Один из способов построения адаптивных эконометрическихмоделей — нейронные сети (см., например, монографию [23]).

При этом упор делаетсяне на формулировку адаптивных алгоритмов анализа данных, а — в большинствеслучаев — на построение виртуальной адаптивной структуры. Термин«виртуальная» означает, что «нейронная сеть» — этоспециализированная компьютерная программа, «нейроны» используютсялишь при общении человека с компьютером. Методология нейронных сетей идет отидей кибернетики 1940-х годов. В компьютере создается модель мозга человека(весьма примитивная с точки зрения физиолога).

Основа модели — весьма простыебазовые элементы, называемые нейронами. Они соединены между собой, так чтонейронные сети можно сравнить с хорошо знакомыми экономистам и инженерамблок-схемами. Каждый нейрон находится в одном из заданного множества состояний.Он получает импульсы от соседей по сети, изменяет свое состояние и самрассылает импульсы. В результате состояние множества нейтронов изменяется, чтосоответствует проведению эконометрических вычислений.

Нейроны обычно объединяются в слои (как правило, два-три).Среди них выделяются входной и выходной слои. Перед началом решения той илииной задачи производится настройка. Во-первых, устанавливаются связи междунейронами, соответствующие решаемой задаче. Во-вторых, проводится обучение,т.е. через нейронную сеть пропускаются обучающие выборки, для элементов которыхтребуемые результаты расчетов известны. Затем параметры сети модифицируютсятак, чтобы получить максимальное соответствие выходных значений заданнымвеличинам.

С точки зрения точности расчетов (и оптимальности в том илиином эконометрическом смысле) нейронные сети не имеют преимуществ перед другимиадаптивными эконометрическими системами. Однако они более просты длявосприятия. Надо отметить, что в эконометрике используются и модели,промежуточные между нейронными сетями и «обычными» системамирегрессионных уравнений (одновременных и с лагами).

Они тоже используютблок-схемы, как, например, универсальный метод моделирования связей экономическихфакторов ЖОК (этот метод описан в работе [24]).

Заметное место в математико-компьютерном обеспечениипринятия решений в контроллинге занимают методы теории нечеткости (по-английски- fuzzy theory, причем термин fuzzy переводят на русский язык по-разному:нечеткий, размытый, расплывчатый, туманный, пушистый и др.).

Начало современнойтеории нечеткости положено работой Л.А. Заде 1965г., хотя истоки прослеживаютсясо времен Древней Греции (об истории теории нечеткости см., например, книгу[12]).

Это направление прикладной математики в последней трети ХХ в. получилобурное развитие. К настоящему времени по теории нечеткости опубликованы тысячикниг и статей, издается несколько международных журналов (половина — в Китае иЯпонии), постоянно проводятся международные конференции, выполнено достаточномного как теоретических, так и прикладных научных работ, практическиеприложения дали ощутимый технико-экономический эффект.

Основоположник рассматриваемого научного направления ЛотфиА. Заде рассматривал теорию нечетких множеств как аппарат анализа имоделирования гуманистических систем, т.е. систем, в которых участвует человек.Его подход опирается на предпосылку о том, что элементами мышления человекаявляются не числа, а элементы некоторых нечетких множеств или классов объектов,для которых переход от «принадлежности» к «непринадлежности»не скачкообразен, а непрерывен. В настоящее время методы теории нечеткостииспользуются почти во всех прикладных областях, в том числе при управлении качествомпродукции и технологическими процессами.

Нечеткая математика и логика — мощный элегантный инструментсовременной науки, который на Западе и на Востоке (в Японии, Китае, Корее)можно встретить в программном обеспечении сотен видов изделий — от игрушек ибытовых видеокамер до систем управления предприятиями. В России он былдостаточно хорошо известен с начала 1970-х годов. Однако первая монографияроссийского автора по теории нечеткости [12] была опубликована лишь в 1980 г. Вдальнейшем проводившиеся раз в год всесоюзные конференции собирали около 100участников — по мировым меркам немного. В настоящее время интерес к теории нечеткостисреди экономистов и менеджеров растет.

При изложении теории нечетких множеств обычно неподчеркивается связь с вероятностными моделями. Между тем еще в середине 1970-хгодов установлено (цикл соответствующих теорем приведен, в частности, в монографии[12], но это отнюдь не первая публикация), что теория нечеткости в определенномсмысле сводится к теории случайных множеств, хотя эта связь и имеет, возможно,лишь теоретическое значение. В США подобные работы появились лет на пять позже.

Профессионалу в области контроллинга полезны многочисленныеинтеллектуальные инструменты анализа данных, относящиеся к высокимстатистическим технологиям и эконометрике.

Литература

1. Корнилов С.Г. Накопление ошибки первого рода приповторной проверке статистических гипотез. Регламент повторных проверок. //Заводская лаборатория. 1996. Т.62. Nо.5. С.45-51.

2. Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные иноминальные уровни значимости в задачах проверки статистических гипотез. Заводскаялаборатория. 1986. Т.52. No.12. С.55-57.

3. Налимов В.В. Применение математической статистики прианализе вещества. — М.: Физматгиз, 1960. — 430 с.

4. Орлов А.И. Распространенная ошибка при использованиикритериев Колмогорова и омега-квадрат. Заводская лаборатория. 1985. Т.51. No.1. С.60-62.

5. Большев Л.Н., Смирнов Н.В. Таблицы математическойстатистики. Изд.3-е. — М.: Наука, 1983. — 416 с.

6. Орлов А.И. О современных проблемах внедрения прикладнойстатистики и других статистических методов. Заводская лаборатория. 1992. Т.58. No.1. С.67-74.

7. Орлов А.И. Некоторые вероятностные вопросы теорииклассификации. – В сб.: Прикладная статистика. Ученые записки по статистике,т.45. — М.: Наука, 1983. С.166-179.

8. Никитина Е.П., Фрейдлина В.Д., Ярхо А.В. Коллекцияопределений термина «статистика» / Межфакультетская лабораториястатистических методов. Вып.37. — М.: Изд-во Московского государственногоуниверситета им. М.В. Ломоносова, 1972. — с.

9. Орлов А.И. Что дает прикладная статистика народномухозяйству? Вестник статистики. — 1986. — No.8. — С.52-56.

10. Орлов А.И. Сертификация и статистические методы(обобщающая статья).

Заводская лаборатория. — 1997. — Т.63. — No.З. — С.55-62.

11. Контроллинг в бизнесе. Методологические и практическиеосновы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев,А.Г. Примак, С.Г. Фалько. — М.: Финансы и статистика, 1998. — 256 с.

12. Орлов А.И. Задачи оптимизации и нечеткие переменные. — М.: Знание, 1980. — с.

13. The teaching statistics / Studies inmathematics education. Vol.7. — Paris, UNESCO, 1989. — 258 pp.

14. Ермаков С.М. Метод Монте-Карло и смежные вопросы. — М.:Наука, 1975. — 471 с.

15. Ермаков С.М., Михайлов Г.А. Статистическоемоделирование. — М.: Наука, 1982. — 296 с.

16. Иванова И.М. Случайные числа и их применения. — М.:Финансы и статистика, 1984. — 111 с.

17. Ермаков С.М. О датчиках случайных чисел. Заводскаялаборатория. 1993. Т.59. No.7. С.48-50.

18. Неуймин Я.Г. Модели в науке и технике. История, теория,практика. — Л.: Наука, 1984. — 190 с.

19. Моисеев Н.Н. Математические задачи системного анализа. — М.: Наука, 1981. — 488 с.

20. Нейлор Т. Машинные имитационные эксперименты с моделямиэкономических систем. — М.: Мир, 1975. — 500 с.

21. Эфрон Б. Нетрадиционные методы многомерногостатистического анализа. — М.: Финансы и статистика, 1988. — 263 с.

22. Орлов А.И. О реальных возможностях бутстрепа какстатистического метода. Заводская лаборатория. 1987. Т.53. No.10. С.82-85.

23. Бэстенс Д.Э., Берт В.М. ван дер, Вуд Д. Нейронные сети ифинансовые рынки: принятие решений в торговых операциях. — М.: ТВП, 1998.

24. Орлов А.И., Жихарев В.Н., Кольцов В.Г. Новыйэконометрический метод «ЖОК» оценки результатов взаимовлиянийфакторов в инженерном менеджменте Проблемы технологии, управления иэкономики / Под общей редакцией к. э. н. Панкова В.А. Ч.1. Краматорск:Донбасская государственная машиностроительная академия, 1999. С.87-89.