скачать
ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ- ВЫСШАЯ ШКОЛА ЭКОНОМИКИ
Программа дисциплины «Детерминационный анализ экономической и социологической информации» для направления 521600 – Экономика магистерская программа 521619 - Экономическая социология (третий уровень высшего профессионального образования) Москва 2001 г. I. Пояснительная записка Автор программы: научный директор компании Контекст Консалтинг, С.В. Чесноков. АннотацияПредмет спецкурса – теория, технология и практика детерминационного анализа (сокращенно ДА). Так называется группа методов анализа данных. В социологии и экономике ДА обеспечивает уникальные возможности решения задач социальной типологизации и стратификации, сегментации рынка, объяснения и прогноза социального и потребительского поведения. Технология ДА обслуживает все этапы работы с данными: от ввода данных до анализа и отчета. В основе ДА лежат работы автора спецкурса С.В. Чеснокова, посвященные математической теории правил (детерминаций) и ее приложениям. Многие из них выполнены в 70-80-е годы в ведущих научных институтах Академии Наук (Институт социологии, отдел Б.А.Грушина; Институт системных исследований, отдел С.С.Шаталина; Институт экономики и прогнозирования НТП, отдел С.С.Шаталина). Базовая монография с изложением оснований ДА опубликована в издательстве Наука в 1982 по рекомендации лауреата Нобелевской премии по экономике академика Л.В.Канторовича. Технология ДА реализована в пакете "ДА-система, версия 4.0 для Windows 95, 98 и Windows NT". Пакет разработан компанией Контекст Консалтинг (с 1996 – авторизованный разработчик корпорации Microsoft) под руководством Сергея Чеснокова. Технология широко используется в социологических, маркетинговых, аналитических отделах, службах, подразделениях фирм и предприятий разного профиля, в информационных и аналитических службах администраций городов и регионов России, в организациях, специализирующихся на маркетинговых, социально-экономических и социологических исследованиях. На конкретных примерах из современной практики социологических, маркетинговых и политических исследований в спецкурсе раскрываются возможности технологии ДА, даются практические навыки работы с пакетом "ДА-система, версия 4.0". Слушатели знакомятся с основами математической теории правил (элементарной и продвинутой), получают представление о соотношении оснований теории правил с основаниями популярных методов описательной статистики (таких, как методы автоматической классификации, кластерный анализ, регрессионный анализ, метод главных компонент, факторный анализ, коэффициенты статистической связи). В спецкурсе прослежено взаимоотношение между задачами анализа данных, с одной стороны, и культурой проведения опросов в социологии, экономике, смежных областях, - с другой. Основное внимание уделяется базовым задачам анализа социологических и социально-экономических данных, а также критериям выбора математических методов решения этих задач. Прослушав спецкурс, слушатели познакомятся с популярной современной технологией анализа данных, получат навыки ее использования, смогут увереннее ориентироваться в арсенале методов анализа данных. Спецкурс рассчитан на студентов магистратуры и аспирантов. Предполагается, что слушатели владеют основами математической статистики и статистических методов анализа данных, а также начальными представлениями о технике проведения социологических, социально-экономических и маркетинговых опросов. Учебные задачи. Задачи спецкурса заключаются в том, чтобы слушатели:
Лекции с элементами практических занятий в компьютерном классе. Необходимое оснащение занятий:
Домашние задания: контрольные вопросы и задачи по лекционному материалу. Итоговый контроль: зачет. Итоговая оценка складывается: оценка за контрольную работу – 20%, оценка за активность на занятиях – 30%, оценка, полученная на зачете – 50%. ^
III. Содержание курса ^ Предмет и задачи курса, обзор материала. Проблемы, возникающие при решении задач объяснения и прогноза с помощью классических методов описательной статистики, примеры. Этапы социологических, маркетинговых, социально-экономических опросов. Коммуникативная основа процедур измерения в социологии и смежных областях. Понятие коммуникативного круга. Обзор задач и методов на разных этапах опроса. Краткий обзор информационно-аналитический технологий, поддерживающих проведение социологических, маркетинговых, политологических исследований. ^ Отличительные особенности технологии и пакета «ДА-система, версия 4.0». Демонстрация возможностей пакета на материале социологических опросов и маркетинговых опросов. Создание словаря переменных. Типы переменных в ДА-системе. Ручной ввод данных. Экспорт-импорт данных. Конструктор таблиц, получение таблиц и графиков. Построение отчета. Конструктор контекстов, работа с подвыборками. Стандартные отчеты. Конструктор вторичных переменных. Таблицы правил (детерминаций). Элементарные начальные сведения о правилах. ^ Стандартная форма представления результатов измерений. Матрицы данных. Элементы матриц данных. «Объект», «переменная», «значение переменной», «универсум» в матрицах данных. Матрицы данных в социологических и маркетинговых исследованиях. Примеры. Закон формы. Математическое выражение элементов матрицы данных. Качественные и количественные показатели в матрицах данных. Принцип номинальности. Математические методы анализа данных как методы преобразования матриц данных. Обзор базовых задач анализа данных. Оценивание частот, классический метод Бернулли. Задачи описания выборки (таблицы, вторичные переменные, связь). Методы решения базовых задач (обзор основных идей). Методы решения базовых задач в ДА-системе. Требование предметной интерпретируемости математических понятий при решении базовых задач. Операции над матрицами данных, применяемые при решении базовых задач анализа данных. Оперирование матрицами данных в MS Excel. Сравнение представления информации в MS Excel и ДА-системе. Взаимосвязанные матрицы данных. Анализ в реляционных базах данных и проблема совместного описания макро- и микро- уровней при анализе социально-экономической системы. ^ Построение таблиц и графиков, примеры. Таблицы распределений и графики как основа аналитического инструментария в маркетинговых и социально-экономических исследованиях. Контексты, работа с подвыборками. Выгрузка таблиц и графиков в отчет, практическое построение аналитических справок. Точка зрения на таблицы распределений как на новые матрицы данных, реляционно связанные с исходной матрицей. Конструирование новых переменных из имеющихся в обследовании. Вторичные переменные как средство конструирования типологий, классификаций, агрегированных показателей. Коммуникативная функция вторичных переменных при проведении социологических и социально-экономических исследований. Связывание микро- и макро- уровней в системе принятии экономических решений. Перевод с языка потребителей (клиентов) на язык руководства фирмой. Языковая природа задачи. Агрегация как средство достижения управленческого комфорта, плюсы и минусы. Язык формул и работа с ним в ДА-системе. Сравнение со стандартными подходами. Примеры из маркетинговых исследований. Самостоятельное конструирование слушателями индексов и типологий в ДА-системе. ^ Первичная информация. Корпоративные требования к первичной информации при опросах клиентов. Состав вопросников. Связь техники составления вопросников с возможностями анализа. Лексика, эстетика, этика, права человека при составлении вопросников и корпоративные интересы. Роль пилотажа. Учет корпоративных интересов при определении генеральной совокупности, организации выборки и проведении опроса. ^ Общая схема аналитического информационного продукта для принятия корпоративных решений. Классификация переменных 1) по типу управляемости, 2) по типу целеполагания, 3) по финансовым затратам на изменение ситуации, 4) по временным затратам на изменение ситуации. ^ Создание словаря вторичных переменных для информационной поддержки принятия решений в корпорации. Учет структуры корпорации и действующей в ней схемы управления бизнесом. Группировки длинных списков. ^ Группы клиентов: максимальная, целевая, ядро. Потенциальные и реальные клиенты. Построение базовых групп, выделение в них потенциальных и реальных клиентов. Обнаружение факторов, способных повысить численность реальных клиентов. Оценка эффективности факторов. ^ Оценка эффективности привлечения клиентов на данных момент. Оценка резервов привлечения клиентов. Сценарии действий для увеличения клиентской базы. Сравнение сценариев по прогнозу результатов их реализации. Примечание. Эта тема раскрывается на реальном примере использования ДА-системы маркетинговой службой крупного мебельного салона по продаже современной зарубежной мебели в Москве. Цель включения этой темы – познакомить слушателей с элементами реальной практики производства аналитической информации в бизнесе и для бизнеса. ^ Задача описания статистических взаимосвязей. Правила (детерминации), получаемые из наблюдений за условными частотами событий. Аргумент и функция правила. Объясняющий и объясняемый признаки. Основные характеристики правил (точность, полнота) и их простейшие формальные свойства. «Прогностическая ценность» и «чувствительность» правил. Точность и полнота как частотные оценки достаточности и необходимости. Правила с простыми и сложными аргументами. Понятие фактора. Существенность факторов в аргументах правил. Вклад фактора в точность и полноту правила. Негативные, позитивные и несущественные факторы. Контекст. Один и тот же фактор в разных контекстах. Качественные и количественные факторы в правилах. Отыскание оптимальных критических границ числовых факторов в правилах. Системы правил с заданным объясняемым признаком. Точность и полнота системы правил. Представление системы правил в виде таблицы правил. Таблицы правил в ДА-системе. ^ Задачи объяснения и прогноза, общий подход к решению. Единичное и общее в социологии. Прогноз (объяснение) поведения группы и индивида. Социологическое объяснение и идея фактора. Факторы в задачах объяснения и прогноза. Поиск правил, объясняющих социальное поведение. Множественность мотиваций на уровне действующего субъекта. Поиск критических границ числового фактора при объяснении и прогнозе поведения в заданной совокупности ситуативных сценариев. Почему трудно искать факторы. Причины «от математики» и «от социологии». Требования к составу и качеству социологических вопросников. Поиск единичных правил для объяснения и прогноза. Поиск систем правил, дающих полное объяснение (исчерпывающий прогноз). Прогнозирование котировок на фондовых рынках. Соотношения детерминизма и стохастичности в поведении рынков. ^ Примеры применения анализа правил (ДА) для решения практических задач:
Примечание. Раскрытие темы производится на данных общероссийских опросов населения по проблемам политики и маркетинга. ^ Ключевая роль понятия «связь» в системе социальных знаний. Принципиальная недетерминистичность социологических закономерностей. Интегральность и локальность методов измерения статистической связи. Математическая схема методов многомерного анализа, основанных на преобразованиях матрицы парных коэффициентов корреляции (ковариации). Пример на сопоставление анализа правил и математической схемы многомерного анализа при поиске факторов (главных компонент). Роль нормальности в классических методах математической статистики. Почему в социологии и экономике связи между показателями в общем случае не сводятся к парным взаимосвязям. Примечание. Едва ли имеется другое понятие, столь же значимое для предметной практики, как понятие «связь», которое при наличии строгих математических определений имеет столь неопределенную предметную интерпретацию. В анализе правил (ДА) понятие «связь» выводится из известных представлений о статистическом детерминизме. Это обусловлено ролью, которую играет статистический детерминизм в задачах объяснения и прогноза. ^ Статистическая связь как мера нарушения статистической независимости. Задача разрешения гипотезы о наличии статистической независимости в генеральной совокупности и задача измерения статистической связи в обследуемой выборке респондентов. Формальное условие статистической независимости. Недостатки классической интерпретации формального условия статистической независимости. Задача прогноза и статистический детерминизм. Точность правила как мера приближения к строгому детерминизму. Концепция статистической связи в анализе правил. Полный набор характеристик статистической связи: точность, полнота, вклады факторов в точность и полноту. Соотношение между классическим пониманием статистической связи и пониманием статистической связи в анализе правил (ДА). Статистическая независимость и несущественность фактора в правиле. Сопоставление концепций статистической связи в классике и в ДА на примерах решения задач прогноза. Пример 1. Прогноз на основе классической регрессии в общем случае. Условия применимости и последствия их нарушения. Сопоставление с анализом правил. Теория, практические примеры. Пример 2. Прогноз на основе классической линейной регрессии. Условия применимости и последствия их нарушения. Сопоставление с анализом правил. Теория, практические примеры. Пример 3. Прогноз на основе статистики Хи-квадрат и коэффициентов Пирсона, Чупрова, Крамера. Что измеряют коэффициенты статистической связи. Статистика Хи-квадрат при разрешении статистической гипотезы о статистической независимости переменных в генеральной совокупности. Статистика Хи-квадрат как мера статистической связи переменных в выборке. Коэффициенты Пирсона, Чупрова, Крамера. Сравнение таблиц распределений по степени связи между переменными. Почему статистика Хи-квадрат и коэффициенты Пирсона, Чупрова, Крамера не могут служить инструментом для решения задачи прогноза, теория и примеры. Сопоставление с анализом правил. Теория, практические примеры. Примечание. Лежащий в основе теории правил подход к определению того, что такое связь между социальными показателями, отличен от подхода, который сложился в рамках теории вероятностей и математической статистики. При раскрытии темы «Статистический детерминизм и статистическая независимость в ДА и в классических статистических методах анализа» у учащихся вырабатывается понимание того, как соотносятся эти два подхода. Объясняется математическая и предметно-содержательная природа трудностей, возникающих в тех случаях, когда для решения задачи прогноза используются классические методы описательной статистики. ^ Аксиоматика теории вероятностей по А.Н.Колмогорову. Связь между матрицами данных и дискретными вероятностными пространствами. Структура матрицы данных как дискретного множества, где понятия «элемент множества» и «свойство элемента множества» получают формальную определенность. Ключевая роль статистической независимости в построении теории вероятностей как самостоятельного раздела математической теории меры (А.Н.Колмогоров). Реформа понятия статистической независимости в теории правил. Подчиненная роль статистического детерминизма в теории вероятностей. Ключевая роль статистического детерминизма в теории правил. Единственность универсума в теории вероятностей. Принципиальная множественность универсумов в теории правил. Развитие теории правил в рамках логики (Аристотель) и в рамках прикладных исследований в разных областях (М.Бонгард и другие). Подход Д. Пойа к анализу правил в рамках теории правдоподобных рассуждений. Почему анализ правил не был развит в рамках теории вероятностей. ^ Задача «дельта» межмассивной обработки данных: имеются два несвязанных массива данных из одной и той же генеральной совокупности; свойство a присутствует только в одном массиве, свойство c только в другом, свойство b в обоих; даны правила a→b и b→c, найти правило a→c, связывающее свойства a, c из разных массивов. Точная математическая постановка задачи «дельта», метод характеристического многогранника. Силлогизмы Аристотеля как частный случай решения задачи «дельта». Классическая силлогистика Аристотеля в традиционном и нетрадиционном изложении. История вопроса. Понятие «объем понятия» в классической логике и теории правил. Общее решение задачи «дельта» как обобщение силлогистики Аристотеля. Пример неаристотелевского силлогизма, обобщающего силлогизм Barbara. Демонстрация вычислительного модуля межмассивной обработки данных. Примеры практического использования расширенной силлогистики. Почему математической основой методов логики правил служат дробно-линейное программирование, комбинаторный анализ и теория групп, а не современная формальная логика. ^
ДА в Геоинформационных системах
Философские проблемы теории правил и детерминационной логики
Автор программы ____________________ С.В. Чесноков
|