В. А. Скрипкин Методы распознавания icon

В. А. Скрипкин Методы распознавания


1 чел. помогло.
Смотрите также:
Программа по курсу: методы анализа данных и распознавания (базовый) по направлению...
Программа по курсу: методы анализа данных и распознавания по направлению: 511600 факультеты...
Метод нечеткого распознавания динамических образов...
Программа дисциплины Методы и техника распознавания образов...
Модели и алгоритмы распознавания железнодорожной технической документации...
Модели и алгоритмы распознавания железнодорожной технической документации...
Реализация подсистемы распознавания в арм эксперта-криминалиста при помощи субд...
Ю. И. Журавлев В. К. Леонтьев В. В. Рязанов В. Я. Чучупал...
Установка программы 2 Ограничения демонстрационной версии 2 Общая информация о системе...
Примерная рабочая программа по дисциплине “Распознавание образов/(по выбору)” для подготовки...
«Системы распознавания текста»...
Промежуточный отчет за 2009 год по Интеграционному проекту со ран...



страницы:   1   2   3   4   5   6   7   8   9   10   11
А. Л. Горелик

В. А. Скрипкин
Методы распознавания



Предисловие

Введение

Глава 1. Общая характеристика проблемы распознаваема объектов явлений

§ 1.1. Качественное описание задачи распознавания

§ 1.2. Основные задачи построения систем распознавания

§ 1.3. Классификация систем распознавания

§ 1.4. Экспертные системы распознавания

Глава 2. Общая постановка проблемы распознавания объектов я явлений

§ 2.1. Содержательная трактовка проблемы распознавания

§ 2.2. Постановка задачи распознавания

§ 2.3. Метод решения задачи распознавания

^ Глава 3. Обработка априорной информация

§ 3.1. Системы распознавания без обучения

§ 3.2. Обучающиеся системы распознавания

§ 3.3. Самообучающиеся системы распознавания

^ Глава 4. Вероятностные системы распознавания объектов и явлений

§ 4.1. Некоторые сведения из теории статистических решений

§ 4.2. Критерий Байеса

§ 4.3. Минимаксный критерий

§ 4.4. Критерий Неймана — Пирсона

§ 4.5. Процедура последовательных решений

§ 4.6. Регуляризация задачи распознавания

§ 4.7. Задача селекции объектов и явлений

^ Глава 5. Рабочий словарь признаков систем распознавания объектов и явлений

§ 5.1. Построение рабочего словаря детерминированных признаков при ограниченных ресурсах

§ 5.2. Построение рабочего словаря признаков с учетом вероятности их определения

§ 5.3. Игровой подход к построению рабочего словаря признаков

§ 5.4. Построение рабочего словаря признаков при вероятностном описании классов

§ 5.5. Сравнительная оценка признаков

§ 5.6. Построение рабочего словаря признаков при отсутствии априорного словаря признаков

^ Глава 6. Вычислительные методы алгебры логики

§ 6.1. Основные понятия алгебры логики

§ 6.2. Изображающие числа и базис

§ 6.3. Восстановление булевой функции по изображающему числу

§ 6.4. Зависимость и независимость высказываний

§ 6.5. Булевы уравнения

§ 6.6. Замена переменных

§ 6.7. Решение логических задач распознавания

^ Глава 7. Логические системы распознавания объектов я явлений

§ 7.1. Решение задач распознавания при большом числе элементов

§ 7.2. Алгоритм построения сокращенного базиса

§ 7.3. Распознавание состояний научно-технического прогресса

§ 7.4. Распознавание объектов в условиях их маскировки

§ 7.5. Распознавание в условиях противодействия

§ 7.6. Алгоритмы распознавания, основанные на вычислении оценок

^ Глава 8. Структурные методы распознавания

§ 8.1. Общая характеристика структурных методов распознавания

§ 8.2. Основные элементы аппарата структурных методов распознавания

§ 8.3. Реализация процесса распознавания на основе структурных методов

^ Глава 9. Управление процессом распознавания объектов и явлений

§ 9.1. Постановка задачи оптимизации процесса распознавания

§ 9.2. Алгоритм управления процессом распознавания

§ 9.3. Частные подходы к принятию решений при распознавании

§ 9.4. Алгебраический подход к задаче распознавания

^ Глава 10. Эффективность систем распознавания

§ 10.1. Эффективность вероятностных систем распознавания

§ 10.2. Эффективность логических систем распознавания

Заключение

Литература


^ 1. ОБЩАЯ ХАРАКТЕРИСТИКА ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И ЯВЛЕНИЙ


Прежде чем приступить к обсуждению формальной постановки и решению основных задач, связанных с разработкой систем распознавания объектов и явлений, целесообразно рассмотреть эти задачи на содержательном (описательном) уровне. Именно этому и посвящена настоящая глава, носящая вводный характер. Кроме того, в ней приведена достаточно подробная классификация систем распознавания, основанная на различных классификационных принципах, связанных с характером и количеством исходной априорной информации, а также с принципами построения самой системы распознавания.


^ 1.1. Качественное описание задачи распознавания i

Распознавание образов (объектов, сигналов, ситуаций, явлений или процессов) — едва ли не самая распространенная задача, которую человеку приходится решать практически ежесекундно от первого до последнего дня своего существования. Для решения этой задачи человек использует огромные ресурсы своего мозга, включая одновременно около 10 — 12 млрд нейронов. Именно это дает возможность людям мгновенно узнавать друг друга, с большой скоростью читать печатные и рукописные тексты, безошибочно водить автомобили в сложном потоке уличного движения, осуществлять отбраковку деталей на конвейере, дешифрировать аэро- и космические фотоснимки, разгадывать коды, древнюю египетскую клинопись и т. д.

Распознавание представляет собой задачу преобразования входной информации, в качестве которой уместно рассматривать некоторые парамеры, признаки распознаваемых образов, в выходную, представляющую собой заключение о том, к какому классу относится распознаваемый образ. Поэтому, учитывая, что кибернетика есть наука об общих законах преобразования информации в сложных системах, распознавание образов есть один из разделов этой науки.

Потребности в комплексной механизации и автоматизации производства, создании роботов, в широких масштабах решать задачи технической и медицинской диагностики, метеорологического прогноза, формализованной оценки общественных, экономических и социологических явлений и процессов, в определении наиболее вероятных направлений их трансформации предопределили значительные усилия научной и инженерной мысли, направленные на решение теоретических и прикладных вопросов проблемы распознавания. Чтобы в полном объеме оценить все значение этой проблемы, достаточно сказать, что создание искусственного интеллекта — это, по-видимому, построение распознающих систем, приближающихся по своим возможностям к возможностям человека в решении задач распознавания.

Ниже будут обсуждены основные задачи, возникающие при построении систем распознавания, их формальная постановка и методы решения. Однако прежде рассмотрим содержательную интерпретацию задачи распознавания. Выполним это на примере задачи распознавания стороной А самолетов стороны В.

Для построения системы распознавания самолетов стороны В стороне А необходимо провести детальный анализ всей доступной информации об авиации стороны В и, исходя из анализа тактико-технических характеристик своих средств противодействия самолетам стороны В, оценить, какие решения она может принимать в случае налета самолетов стороны В. Такими решениями могут быть, например: 1) применить средство противодействия S1, 2) применить средство противодействия S2; 3) совместно использовать средства S1 и S2. В соответствии с этими решениями самолеты стороны В следует подразделить на три класса. При этом, если появляются самолеты первого класса, следует применить средство S1 если самолеты второго класса — средство S2 и, наконец, если самолеты третьего класса — совместно средства S1 и S2.

Наличие конкретных технических средств обнаружения самолетов и определения их параметров, а также недостаточный объем исходной (априорной) информации о классах самолетов стороны В (положим, первый класс — бомбардировщики, второй класс — истребители, третий класс — штурмовики) может привести к тому, что с точки зрения эффективности стороне А целесообразно ввести в рассмотрение только два класса, так как при этом повышается вероятность правильного распознавания самолетов. Этот вопрос можно решить только путем математического или физико-математического моделирования разрабатываемой системы распознавания. После проведения классификации самолетов стороны В следует определить, с помощью каких параметров или признаков можно описать выделенные классы самолетов, а затем из полученного перечня исключить те признаки, относительно которых не представляется возможным определить их значения применительно к каждому классу самолетов.

Далее в соответствии с техническими возможностями средств наблюдения за самолетами (радиолокаторы, акустические средства, лазеры, оптические устройства и т. д.) из полученного перечня признаков надо выделить признаки, которые могут быть реально определены (например, крейсерская и максимальная скорости, предельная высота полета, число и тип двигателей, длина фюзеляжа, размах крыльев и др.). И наконец, на основе априорных данных следует описать на языке выбранных признаков каждый класс самолетов. В данном случае одни признаки имеют качественный характер (тип двигателей), другие — количественный (скорость, высота полета и т. д.). Поэтому в описании классов должны содержаться сведения как о том, присущи или не присущи каждому классу те или иные признаки качественного характера, так и о возможных диапазонах или законах распределений значений признаков, имеющих количественные выражения, для каждого класса. На этом подготовительную работу можно считать завершенной, поскольку накоплена и проанализирована априорная информация о самолетах, произведена их классификация, выбрана система признаков и описаны все классы самолетов на языке этих признаков. Положим, что с помощью каких-либо средств наблюдения в результате проведения опытов найдены некоторые признаки неизвестного, подлежащего распознаванию самолета. Сопоставление полученных апостериорных данных об этом самолете с данными, заключенными в априорном описании всех классов самолетов на языке признаков, позволяет определить, к какому классу относится неизвестный самолет, т. е. позволяет произвести его распознавание.

Рассмотренный пример содержит качественное описание задачи распознавания и не поясняет, как производить разбиение объектов на классы, как накапливать и обрабатывать априорную информацию, из каких соображений осуществлять выбор признаков и как описать на их языке классы, на основе каких методов сопоставлять апостериорную и априорную информацию, т. е. распознавать неизвестный объект. Однако пример дает возможность составить представление о задаче распознавания в следующей трактовке. Имеется некоторая совокупность объектов или явлений. В соответствии с выбранным принципом классификации она подразделена на ряд классов, т. е. составлен алфавит классов. Разработан словарь признаков, на языке которого описывается каждый класс объектов. Созданы технические средства, обеспечивающие определение признаков, а на вычислительных средствах системы распознавания реализован алгоритм распознавания, позволяющий сопоставлять апостериорные данные о неизвестном объекте с априорной информацией и на основе сопоставления определять, к какому классу он может быть отнесен. Когда появляется объект, подлежащий распознаванию, с помощью технических средств наблюдения проводятся опыты и определяются его признаки. Данные о признаках неизвестного объекта поступают на вход алгоритма распознавания, который, используя априорные описания классов, определяет, к какому классу может быть отнесен этот объект.

В рамках кибернетики во второй половине 50-х годов XX в. начало формироваться новое научное направление, связанное с разработкой теоретических основ и практической реализацией устройств, а затем и систем, предназначенных для распознавания неизвестных объектов, явлений, процессов. Новая научная дисциплина получила название «Распознавание образов». Подобное название возникло в связи с тем, что процесс распознавания отождествляется с выявлением вопроса о том, к какому классу объектов (образу) может быть отнесен распознаваемый объект. При этом класс олицетворяет собой некоторую совокупность (подмножество) объектов, обладающих близкими свойствами.

Первая работа в области распознавания образов в нашей стране была выполнена одним из основоположников современной теории информации акад. А. А. Харкевичем. Значительный вклад в развитие теории и практики распознавания внесли также всемирно известные ученые-академики В. М. Глушков, Ю. И. Журавлев, В. С. Михалевич, В. С. Пугачев, Я. 3. Цыпкин, член-корреспонденты РАН В. С. Матросов и К. В. Рудаков и др. Из зарубежных ученых следует отметить в первую очередь Ф. Розенблатта, предложившего в 1957 г. машину, обучающуюся распознаванию образов, названную им персептрон (от англ. to percept — воспринимать), в качестве простейшей модели деятельности мозга, связанной с распознаванием образов. Кроме того, необходимо назвать видных ученых Р. Гонсалеса, У. Гренандера, Р. Дуда, Г. Себестиана, Дж. Ту, К. Фу, П. Харта, основные работы которых переведены на русский язык.

Первые работы в области распознавания образов были посвящены главным образом теории и практике построения читающих автоматов, и само слово «образ» использовалось для обозначения напечатанного или написанного от руки знака, изображающего букву или цифру. Математическим аппаратом постановки и решения задач распознавания с момента их возникновения явилась теория статистических решений.

Классические результаты теории статистических решений послужили базой для построения алгоритмов распознавания, обеспечивающих определение класса, к которому может быть отнесен неизвестный объект, на основе экспериментальных измерений определенного набора параметров (признаков), характеризующих этот объект, и определенных априорных данных, описывающих классы рассматриваемых объектов. В последующем математический аппарат, используемый для решения задач распознавания, существенно расширился за счет применения методов алгебры логики и ряда разделов прикладной математики, теории информации, математического программирования и системотехники.

В нашей стране и за рубежом основное внимание уделяется разработке больших и, как правило, многоуровневых систем распознавания. Они представляют собой совокупность технических средств и программно-алгоритмических комплексов. К техническим средствам относятся измерительные системы или измерительная аппаратура, предназначенная для обнаружения распознаваемых объектов и определения признаков, на языке которых они описываются, а также локальные вычислительные машины, входящие в состав измерительных систем, и центральные ЭВМ системы. Программно-алгоритмический комплекс представляет собой совокупность алгоритмов, предназначенных для обработки апостериорной измерительной информации и определения признаков распознаваемых объектов, программно реализованных на вычислительных средствах измерительных систем, а также собственно алгоритмов распознавания, программно реализованных на центральных вычислительных средствах системы распознавания. К большим системам распознавания следует отнести также и коллективы специалистов, осуществляющих первичную формализацию исходной информации и анализ как полученных апостериорных данных, так и формальных решений задачи распознавания на всех уровнях системы.

Системы распознавания в настоящее время получают все большее распространение, и трудно назвать такую отрасль науки или сферу производственной деятельности, где они не используются или не будут использоваться в ближайшие годы.

Особое значение приобретают системы распознавания в современных условиях развития экономики, в эпоху ускорения научно-технического прогресса. Связано это с тем, что существует ряд направлений науки и техники, в которых использование методов распознавания оказывает революционизирующее влияние на развитие этих направлений. Рассмотрим только несколько примеров.

Известно, что одним из важнейших прикладных направлений применения методов распознавания являются системы технической диагностики машин и механизмов. Широкое внедрение систем технической диагностики является одним из важнейших факторов повышения эффективности использования машин и технологического оборудования, резкого сокращения расходов на их ремонт и эксплуатацию и, следовательно, может по праву рассматриваться как одно из важнейших направлений ускорения научно-технического прогресса в нашей стране. Особую роль приобретают системы технической диагностики в связи со сменой поколений технических систем. Например, на смену сравнительно простым металлообрабатывающим станкам приходят обрабатывающие центры с числовым программным управлением; цифровым машинам первых поколений — ЭВМ пятого поколения; тепловым электростанциям — атомные; весьма людным производствам — безлюдные технологии и т. д. Усложнение и, как следствие, удорожание машин автоматически приводят к резкому увеличению затрат трудовых и материальных ресурсов, связанных с их ремонтом и эксплуатацией. Наиболее эффективным направлением решения этой проблемы является широкое применение систем технической диагностики, которые обеспечивают возможность безразборного поиска неисправностей, перехода от крайне расточительного планово-предупредительного ремонта к ремонту по фактической необходимости, осуществлять оптимальную регулировку машин и прогнозировать их состояние.

Другой пример — медицинская диагностика, история которой восходит ко временам Гиппократа и насчитывает несколько тысячелетий. Использование в медицинской диагностике методов распознавания и создание на их основе автоматизированных систем коренным образом изменяет эффективность диагностики с точки зрения широты и глубины охвата медицинских симптомов, ее оперативности, полноты и достоверности. Только создание широкой сети автоматизированных компьютерных систем медицинской диагностики позволит поставить на практическую основу решение задачи огромной важности — всеобщей ежегодной диспансеризации населения нашей страны, имеющей большое социальное и экономическое значение.

Распознающие устройства и системы распознавания займут большое место в сельском хозяйстве. Здесь следует иметь в виду распознавание размера урожая конкретных сельскохозяйственных культур на определенных участках поля по данным аэро-и космических наблюдений, значительное уменьшение ручного труда при сортировке плодов по их форме, цвету и размерам, массовую медицинскую диагностику сельскохозяйственных животных, автоматическую дойку роботами, снабженными системами распознавания. Именно оснащение промышленных и сельскохозяйственных роботов системами распознавания обеспечивает их «интеллектуализацию», а следовательно, расширяет сферу их эффективного использования.

Проектирование систем распознавания —- достаточно сложный итеративный процесс, реализация которого сопряжена с построением постепенно уточняющейся математической или физико-математической модели проектируемой системы. Первая итерация может быть названа априорной (исходной). На ее основе составляется априорный алфавит классов и разрабатывается априорный словарь признаков. Описание классов на языке признаков позволяет найти в некотором смысле наилучшие границы классов в априорном признаковом пространстве. После выбора алгоритма распознавания можно приступить к решению основной задачи, составляющей основу проблемы распознавания — определение алфавита классов и словаря признаков, которые в условиях ресурсных ограничений на построение системы распознавания обеспечивают наибольшую эффективность управленческих решений. Уточненная модель системы распознавания служит основой нахождения новых границ между классами, возможной корректировки алфавита классов и словаря признаков. Этот процесс итеративный. Как правило, нескольких итераций достаточно для окончательного решения вопроса о структуре и свойствах разрабатываемой системы распознавания.

Публикации по проблеме распознавания могут создать у читателей представление о том, что «распознающая система — это автоматическое вычислительное устройство, предназначенное для распознавания образов», а проблема распознавания состоит лишь в таком разделении пространства признаков на области, соответствующие классам, при котором обеспечивается минимум ошибок распознавания, т. е. в нахождении решающих правил, решающих границ. Это не так. Проблема распознавания значительно сложнее. Вычислительная машина представляет собой лишь один из элементов системы распознавания. Другими элементами, зачастую значительно более сложными и дорогостоящими являются технические средства обнаружения распознаваемых объектов, которые подчас приходится специально разрабатывать (вспомним хитроумные ловушки элементарных частиц или современные радиолокационные системы), средства формирования измерительной информации, на основе обработки которой могут быть определены признаки этих объектов.

Математическое обеспечение систем распознавания также не определяется собственно алгоритмом построения решающих правил, решающих границ. В его состав входят: математическая модель системы, используемая как на стадии проектирования системы распознавания, так и в ходе ее эксплуатации для уточнения структуры и параметров системы; методы и алгоритмы обработки измерительной информации, получаемой техническими средствами системы и предназначенной для определения признаков распознаваемых объектов; методы и алгоритмы распознавания; методы и алгоритмы в определенном смысле оптимального управления процессом распознавания; методы и алгоритмы оценки эффективности системы распознавания как на стадии проектирования, так и в процессе ее функционирования и т. д. Содержательному и формальному рассмотрению задач, связанных с построением систем распознавания, и посвящено настоящее учебное пособие.


§ 1.2. Основные задачи построения систем распознавания


Рассмотренный в § 1.1 пример свидетельствует о том, что распознавание сложных объектов и явлений требует создания специальных систем распознавания — сложных динамических систем, состоящих в общем случае из коллектива подготовленных специалистов и совокупности технических средств получения и переработки информации и предназначенных для решения на основе специально сконструированных алгоритмов задач распознавания соответствующих объектов или явлений.

Каждая система распознавания приспособлена для распознавания только данного вида объектов или явлений (так, система, предназначенная для диагностики заболеваний, не умеет диагностировать отказы аппаратуры, а система, предназначенная для чтения букв русского алфавита, не умеет читать китайские иероглифы или ноты).

Рассмотрим основные задачи, возникающие в процессе проектирования и построения систем распознавания. При этом необходимо иметь в виду следующее. Процесс разработки системы распознавания требует построения математической или физико-математической модели системы. Только наличие подобной модели позволяет реализовать итеративный процесс построения прообразов системы распознавания, все более и более приближающихся по своим характеристикам (точностным, временным, габаритным, весовым, стоимостным и т. д.) к требуемым характеристикам, задаваемым на стадии разработки тактико-технических требований к системе. Рассматриваемые ниже задачи в той или иной мере, с одной стороны, обеспечивают построение модели системы, а с другой — могут быть решены только с помощью модели. Такова диалектика этого вопроса.

Задача 1 заключается в том, чтобы определить полный перечень признаков (параметров), характеризующих объекты или явления, для распознавания которых разрабатывается данная система. Названная совокупность признаков должна быть сформирована безотносительно каких-либо ограничений, связанных как с получением априорной информации, необходимой для исходного описания классов объектов, так и с получением апостериорной информации о конкретных объектах, подлежащих распознаванию. Наоборот, первоначально необходимо определить все признаки, хотя бы в малейшей мере характеризующие объекты или явления.

Признаки объектов могут быть подразделены на детерминированные, вероятностные, логические и структурные.

Детерминированные признаки — признаки, принимающие конкретные числовые значения (например, размах крыла lкр = 25 м, длина фюзеляжа lф = 50 м, масса самолета G=70 тит. д.), которые могут рассматриваться в качестве координат точки в признаковом пространстве, соответствующей данному объекту. При рассмотрении признаков в качестве детерминированных ошибками измерений пренебрегают.

Вероятностные признаки — признаки, случайные значения которых распределены по всем классам объектов, при этом решение о принадлежности распознаваемого объекта к тому или другому классу может приниматься только на основании конкретных значений признаков данного объекта, определенных в результате проведения соответствующих опытов. Признаки распознаваемых объектов следует рассматривать как вероятностные и в случае, если измерение их числовых значений производится с такими ошибками, что по результатам измерений невозможно с полной определенностью сказать, какое числовое значение данная величина приняла.

Логические признаки распознаваемых объектов можно рассматривать как элементарные высказывания, принимающие два значения истинности («да», «нет» или «истина», «ложь») с полной определенностью. К логическим признакам относятся прежде всего признаки, не имеющие количественного выражения. Эти признаки представляют собой суждения качественного характера типа наличия или отсутствия некоторых свойств или некоторых элементов у распознаваемых объектов или явлений. В качестве логических признаков можно рассматривать, например, такие симптомы, используемые при медицинской диагностике, как боль в горле, кашель, насморк и т. д., такие свойства объектов геологической разведки, как растворимость или нерастворимость в определенных кислотах или в некоторых смесях кислот, наличие или отсутствие запаха, цвета и т. д. К логическим можно отнести также признаки, у которых важна не величина признака у распознаваемого объекта, а лишь факт попадания или непопадания ее в заданный интервал.

В пределах этих интервалов появление различных значений признаков у распознаваемых объектов предполагается равновероятным. На практике логические признаки подобного рода имеют место в таких ситуациях, когда либо ошибками измерений можно пренебречь, либо интервалы значений признаков выбраны таким образом, что ошибки измерений практически не оказывают влияния на достоверность принимаемых решений относительно попадания измеряемой величины в заданный интервал. Например, в области технической диагностики решение о выходе из строя технических устройств принимается лишь тогда, когда фактические значения некоторых параметров (признаков) превышают заданные интервалы. Отклонение же значений параметров от номинала, не сопровождающееся выходом за пределы соответствующих интервалов, является информацией о том, что устройство функционирует нормально.

Структурные (лингвистические, синтаксические) признаки представляют собой непроизводные элементы (символы) структуры объекта. Иначе эти элементы (константы) называют терминалами. Каждый объект может рассматриваться как цепочка терминалов или как предложение. Эти предложения и описывают объекты. При этом если предложение, описывающее неизвестный распознаваемый объект, относится к языку данного класса, то этот объект и принимается принадлежащим к этому классу. Например, при распознавании букв русского алфавита терминалами являются вертикальная, горизонтальная, наклонная черточки, наличие угла и т. д.

Задача 2 заключается в проведении первоначальной классификации распознаваемых объектов или явлений, в составлении априорного алфавита классов. Основное в данной задаче — выбор надлежащего принципа классификации. Последний определяется требованиями, предъявляемыми к системе распознавания, которые, в свою очередь, зависят от того, какие решения могут приниматься системой управления по результатам распознавания неизвестных объектов или явлений. При решении последующих задач априорный алфавит классов уточняется, в результате чего формируется рабочий алфавит классов системы распознавания.

Задача 3 состоит в разработке априорного словаря признаков. Словарь разрабатывается на основе результатов решения первой задачи с учетом того, что в априорный словарь признаков включаются только те признаки, относительно которых может быть получена априорная информация, необходимая для описания классов на языке этих признаков.

Задача 4 состоит в описании всех классов априорного алфавита классов на языке признаков, включенных в априорный словарь признаков. Эта задача не имеет однозначного решения, и в зависимости от объема исходной информации для ее решения могут быть использованы методы непосредственной обработки исходных данных, обучения или самообучения (см. гл. 3).

Если признаки распознаваемых объектов — детерминированные, то описанием каждого класса объектов на языке этих признаков является его эталон, т. е. точка, сумма расстояний которой от точек, описывающих объекты, принадлежащие данному классу, минимальна.

Если признаки распознаваемых объектов логические и имеют количественные выражения, то для описания классов объектов на языке признаков необходимо (в предположении достаточности исходной информации) определить диапазоны значений признаков ∆xij, j=l, ..., N, соответствующие классам Ωh, i= = 1, ..., m. При этом каждый из отрезков может рассматриваться как элементарное логическое высказывание А, В, С, ... . Если признаки распознаваемых объектов есть суждения качественного характера, то каждый из них также рассматривается как элементарное логическое высказывание А′, В′, С′, ... . Для описания классов на языке этих признаков необходимо выяснить, какими из них характеризуется каждый класс, после этого установить ; зависимости в форме булевых соотношений между признаками А, В, С, ...; А′, В′, С′, ... и классами Ω1 ..., Ωm.

Если распределение объектов по областям Di N-мерного пространства признаков для всех значений i= 1, ..., m вероятностное, то для описания классов необходимо определить характеристики этих распределений: функции плотности вероятности fi(x1, ..., xN) значений параметров х1 ..., xN при условии, что объекты принадлежат классу Ωi априорные вероятности Р(Ωi) того, что объект, случайным образом выбранный из общей совокупности, окажется принадлежащим классу Ω1.

Если признаки распознаваемых объектов — структурные, то описаниями классов объектов являются языки, состоящие из предложений, каждое из которых характеризует структурные особенности объектов, принадлежащих исключительно одному из классов.

Выработка сведений о распознаваемых объектах и априорное описание классов — весьма трудоемкая часть в решении классификационных задач, требующая глубокого изучения свойств этих объектов.

Задача 5 заключается в разбиении априорного пространства признаков на области, соответствующие классам априорного алфавита классов. Подобное разбиение должно быть выполнено в некотором смысле оптимальным образом, например так, чтобы при этом обеспечивалось минимальное значение ошибок, неизбежно сопровождающих распознавание поступающих на вход системы распознавания неизвестных объектов или явлений.

Пусть в априорном словаре признаков содержится упорядоченный набор параметров объектов или явлений —- признаки x1, ..., xN, которые можно рассматривать как составляющие вектора ха={х1 ..., xN}, описывающего априорное пространство признаков систем распознавания (априорное признаковое пространство) размерности N; конкретные точки этого пространства представляют собой распознаваемые объекты.

Положим, произведено разбиение объектов на классы Ω1 ..., ..., Ωm. Требуется выделить в пространстве признаков области Di, i = l, ..., m, эквивалентные классам, т. е. характеризуемые следующей необходимой зависимостью: если объект, имеющий признаки х01, ..., x0N, относится к классу Ωi, то представляющая его в признаковом пространстве точка принадлежит области Di.

Помимо геометрической существует и алгебраическая трактовка задачи: требуется построить разделяющие функции Fi (x1 ..., xN), i= 1,..., m, обладающие следующим свойством: если объект, имеющий признаки х01, ..., x0N, относится к классу Ωi то величина Fi01, ..., x0N) должна быть наибольшей. Такой же она должна быть и для всех других значений признаков объектов, относящихся к классу Ωi,. Если хq обозначает вектор признаков объекта, принадлежащего к Ωq-му классу, то для всех значений вектора хq Fq(xq)>Fg(xq), q, g= 1, ..., m, q≠g.

Таким образом, в признаковом пространстве системы распознавания граница разбиений, называемая решающей границей между областями Di, соответствующих классам Ωi„ выражается уравнением


(1.1)


На рис. 1.1 показано разбиение двумерного пространства признаков на области D1 и D2, соответствующие классам Ω1 и Ω2 (здесь 1 — решающая граница).

Задача 6 состоит в выборе алгоритмов распознавания, обеспечивающих отнесение распознаваемого объекта или явления к тому или другому классу или их некоторой совокупности.

Алгоритмы распознавания основываются на сравнении той или другой меры близости или меры сходства распознаваемого объекта с каждым классом. При этом если выбранная мера близости L данного объекта w с каким-либо классом Ωg, g = 1, ..., m, превышает меру его близости с другими классами, то принимается решение о принадлежности этого объекта классу Ωg, т. е.





Рис. 1.1


В алгоритмах распознавания, базирующихся на использовании детерминированных признаков, в качестве меры близости используется среднеквадратичное расстояние между данным объектом со и совокупностью объектов {wgl,..., wgkg}, представляющих собой класс Ωg:




(1.2)


причем метод измерения расстояния между объектами d(w, wgs) свободен для выбора.

В случае, если необходимо учитывать веса Wj признаков xj, j=l, ..., N, объекта w и признаков xgsj объектов wgs класса Ωg, может быть применена метрика следующего вида:




(1.3)


В алгоритмах распознавания, базирующихся на использовании вероятностных признаков, в качестве меры близости используется риск, связанный с решением о принадлежности распознаваемого объекта к классу Ωi, i=1, ..., m. Пусть даны описания классов {fi(x), Р(Ωi)}, х={х1 ..., xN} и риски правильных и ошибочных решений, представляющие собой элементы платежной матрицы вида




(1.4)


По главной диагонали матрицы расположены потери при правильных решениях, а по обеим сторонам от нее — потери при ошибочных решениях. Если сii<0, i=l, ..., m, то такие отрицательные потери можно рассматривать как выигрыш при правильных решениях.

Пусть в результате экспериментов установлено, что значения признаков у распознаваемого объекта w составляют x101, x202, ..., xN=x0N. Обозначим это событие aN. Тогда значение риска, связанного с решением вида w Є Ωg при условии, что имеет место событие aN, будет




(1.5)


где условная апостериорная вероятность того, что w Є Ωi в соответствии с теоремой гипотез или формулой Байеса





В общем случае решение вида w Є Ωg принимается в случае, если




(1.7)


В алгоритмах распознавания, базирующихся на использовании логических признаков, не используется понятие «мера близости». Когда построено описание классов на языке логических признаков в виде соответствующих булевых соотношений (эквивалентности или импликаций), при подстановке в эти соотношения значений признаков, характеризующих распознаваемый объект, автоматически возникает ответ: к какому классу или классам этот объект может быть отнесен и к каким он не относится.

В алгоритмах распознавания, базирующихся на использовании структурных (лингвистических) признаков, понятие меры близости также может не использоваться. Когда построены языки, описывающие классы в виде совокупностей предложений, характеризующих структурные особенности объекта, относящиеся к каждому классу, то распознавание неизвестного объекта осуществляется идентификацией предложения, описывающего этот объект, с одним из предложений языка — элемента описания соответствующего класса.

Задача 7 состоит в определении рабочего алфавита классов и рабочего словаря признаков системы распознавания. Она представляет собой общую постановку проблемы распознавания (см. гл. 2). Суть ее заключается в разработке такого алфавита классов и такого словаря признаков (назовем их оптимальными), которые в условиях ограничений на построение системы распознавания обеспечивают максимальное значение показателя эффективности системы управления, принимающей в зависимости от результатов распознавания неизвестных объектов соответствующие решения.

Задачу можно решить с помощью математической (физико-математической) модели системы распознавания путем последовательных приближений. Первое приближение системы — априорный словарь признаков и априорный алфавит классов. При построении рабочих алфавита классов и словаря признаков приходится учитывать следующие соображения.

Первое соображение связано с наличием или возможностью создания конкретных технических средств наблюдений, обеспечивающих на основе проведения экспериментов определение признаков распознаваемых объектов, а также с целесообразностью использования тех или других технических средств, а значит, и признаков, определяемых с помощью этих средств. Это соображение диктуется ограничениями на ресурсы (финансовые, материальные, временные, весовые, габаритные, энергетические и т. п.), на возможность или допустимость создания или использования соответствующих технических средств (см. гл. 5). По поводу последнего приведем следующий пример. В системах медицинской диагностики заболеваний сердца наряду с использованием симптомов (признаков), определяемых с помощью электрокардиографов и рентгеновской аппаратуры, возможно использование признаков, получаемых с помощью ангиограмм — специальных снимков в рентгеновских лучах, сделанных при инъекции в сердце или коронарные артерии рентгеноконтраст-ного вещества. Этот метод диагностирования дает более точную информацию, чем электрокардиография или рентгенография. Однако, во-первых, он дорог (так, в США стоимость проведения ангиографии составляет 2 тыс. дол., что в несколько раз дороже проведения и рентгенографии и электрокардиографии), и, во-вторых, проведение ангиографии сопряжено подчас со смертельным риском.

Второе соображение — обеспечение в условиях названных ограничений наибольшей точности решения задачи распознавания, так как она непосредственно влияет на эффективность управленческих решений. В самом деле, ошибочный медицинский диагноз порождает неадекватную стратегию лечения, которая может привести к печальным последствиям. Проведение моделирования системы распознавания с учетом названных соображений в принципе позволяет определить окончательный вариант ее построения, т. е. определить рабочий алфавит классов и состав технических средств наблюдений, а значит, рабочий словарь признаков.

Задача 8 состоит в разработке специальных алгоритмов управления работой системы. Их назначение в том, чтобы процесс функционирования системы распознавания был в определенном смысле оптимальным и выбранный критерий качества этого процесса достигал экстремального значения. В качестве подобного критерия могут использоваться, например, вероятность правильного решения задачи распознавания, среднее время ее решения, расходы, связанные с реализацией процесса распознавания, и т. д. Достижение экстремальной величины названных критериев должно при этом сопровождаться соблюдением некоторых ограничивающих условий. Так, рационально потребовать, чтобы достижение максимальной вероятности правильного решения задачи распознавания осуществлялось в условиях ограничений либо на время решения задачи, либо на расходы, связанные с проведением экспериментальных работ. Минимизация среднего времени решения задачи или расходов на реализацию процедуры распознавания должна осуществляться в условиях достижения заданной вероятности правильного решения задачи и т. д.

Задача 9 состоит в выборе показателей эффективности системы распознавания и оценке их значений. В качестве показателей эффективности системы могут рассматриваться вероятность правильных решений, среднее время решения задач распознавания, величина расходов, связанных с получением апостериорной информации, и т. д. Оценка значений выбранной совокупности показателей эффективности, как правило, проводится на основе экспериментальных исследований либо реальной системы распознавания, либо с помощью ее физической или математической модели.


§ 1.3. Классификация систем распознавания


Любая классификация основывается на определенных классификационных принципах. С точки зрения общности классификации систем распознавания рационально рассматривать в качестве классификационного принципа свойства информации, используемой в процессе распознавания.

Системы распознавания можно подразделить на простые и сложные в зависимости от того, физически однородная или физически неоднородная информация используется для описания распознаваемых объектов, имеют ли признаки, на языке которых произведено описание алфавита классов, единую или различную физическую природу.

Простые системы распознавания. К ним относят, например, читающие автоматические распознающие устройства, в которых признаки рабочего словаря представляют собой лишь те или иные линейные размеры распознаваемых объектов; автоматы для размена монет, где в качестве признака, используемого при распознавании монет, берется их масса; автоматические устройства, предназначенные для отбраковки деталей, в которых в качестве признаков, применяемых для описания классов бракованных и небракованных деталей, используются либо некоторые линейные размеры, либо масса и т. д.

Сложные системы распознавания. К ним относят, например, системы медицинской диагностики, в которых в качестве признаков (симптомов) могут использоваться данные анализа крови и кардиограммы; температура и динамика кровяного давления и т. п.; системы, предназначенные для распознавания образцов геологической разведки, в которых в качестве признаков берутся различные физические и химические свойства, или образцов военной техники вероятного противника и т. д.

Если в качестве принципа классификации использовать способ получения апостериорной информации, то сложные системы можно подразделить на одноуровневые и многоуровневые.

Одноуровневые сложные системы. В этих системах апостериорная информация о признаках распознаваемых объектов х1 ...,xN определяется прямыми измерениями непосредственно на основе обработки результатов экспериментов (рис. 1.2, где АИ — априорная информация; БАР — блок алгоритмов распознавания; БУРС — блок управления работой средств).

Многоуровневые сложные системы. В этих системах апостериорная информация о признаках определяется на основе косвенных измерений. Для таких измерений используются специализированные локальные распознающие системы (рис. 1.3, где АИ — априорная информация; БАР — блок алгоритмов распознавания; БУРС — блок управления работой средств).

В одноуровневых системах (см. рис. 1.2) по данным технических средств Т1, ..., Тр, ..., Тn, на основе обработки полученных реализаций непосредственно находят признаки х11, ..., хk1 х1p, ..., х1р; х1n, ..., хmn неизвестных объектов или явлений, которые используются для их распознавания.

В многоуровневых системах (рис. 1.3) по данным технических средств Т1 ..., Тр, ..., Тn, определяются признаки х11, ..., хk1 х1p, ..., х1р; х1n, ..., хmn (назовем их первичными), которые подразделяются на следующие группы.





Рис. 1.2


Группа 1. К ней относят признаки, используемые в локальных распознающих устройствах первого (нижнего) уровня (назовем эти признаки признаками первого уровня) для определения признаков второго уровня. На рис. 1.3 такими признаками являются х21, xlp, x2p, x1n, x2m, xnm. На основе этих признаков распознающие устройства первого уровня А, В, С определяют признаки второго уровня хA2, xB2, хC2.

Группа 2. К ней относят признаки, непосредственно используемые в распознающих устройствах второго уровня для определения признаков третьего уровня. На рис. 1.3 таким признаком является хk1, используемый наряду с признаками второго уровня xA2 и хB2 в распознающем устройстве второго уровня D для определения признака третьего уровня xD3.

Группа 3. К ней относят признаки, используемые в распознающих устройствах третьего уровня для определения признаков четвертого уровня, и т. д.





Рис. 1.3


К последней группе относят признаки, непосредственно используемые в процессе распознавания неизвестных объектов, т. е. признаки, входящие в рабочий словарь признаков системы распознавания. На рис. 1.3 такими признаками являются х11 и х1р (назовем эти признаки признаками верхнего уровня).

Таким образом, в одноуровневых системах распознавания информация о признаках распознаваемого объекта формируется путем прямых измерений непосредственно на основе обработки данных экспериментов. В многоуровневых системах информация о названных признаках формируется на основе косвенных измерений как результат функционирования вспомогательных распознающих устройств. На входы таких устройств поступает предварительно обработанная измерительная информация, а на выходах образуется либо непосредственно информация о признаках распознаваемых объектов или явлений, либо промежуточная информация, используемая распознающими устройствами следующих уровней для формирования информации о признаках распознаваемых объектов.

Если в качестве принципа классификации избрать количество первоначальной априорной информации о распознаваемых объектах или явлениях, то системы распознавания, как простые, так и сложные, можно разделить на системы без обучения, обучающиеся и самообучающиеся.

Многоуровневые системы распознавания однозначно не подразделяются на указанные классы, так как каждая из локальных систем многоуровневой системы может, в свою очередь, представлять собой систему без обучения, обучающуюся либо самообучающуюся.

Системы без обучения. В этих системах первоначальной априорной информации достаточно для того, чтобы определить априорный алфавит классов, построить априорный словарь признаков и на основе непосредственной обработки исходных данных произвести описание каждого класса на языке этих признаков, т. е. в первом приближении достаточно определить решающие границы, решающие правила.

Будем считать, что для построения этого класса систем необходимо располагать полной первоначальной априорной информацией. На рис. 1.4 (где ТС — технические средства; АИ — априорная информация; БАР — блок алгоритмов распознавания) представлена структурная схема системы без обучения.

Обучающиеся системы. В этих системах первоначальной априорной информации достаточно для того, чтобы определить априорный алфавит классов и построить априорный словарь признаков, но недостаточно (либо ее по тем или другим соображениям нецелесообразно использовать) для описания классов на языке





Рис. 1.4


признаков. Исходная информация, необходимая для построения обучающихся систем распознавания, позволяет выделить конкретные объекты, принадлежащие различным классам, и может быть представлена в следующем виде:




(1.8)


Объекты w1 ..., wt представляют собой обучающие объекты (обучающая последовательность, обучающая выборка). Цель процедуры обучения — определение разделяющих функций Fi(x1, ..., xN), i = l, ..., m, путем многократного предъявления системе распознавания различных объектов с указанием классов, к которым эти объекты принадлежат.

Системы распознавания, обучающиеся на стадии формирования, работают с «учителем». Эта работа заключается в том, что «учитель» многократно предъявляет системе обучающие объекты всех выделенных классов и указывает, к каким классам они принадлежат. Затем «учитель» начинает «экзаменовать» систему распознавания, корректируя ее ответы до тех пор, пока количество ошибок в среднем не достигнет желаемого уровня. На рис. 1.5 (где 00 — обучающие объекты; ТС — технические средства; БАО — блок алгоритмов обучения; АИ — априорная информация; БАР — блок алгоритмов распознавания; штриховые линии — режим обучения, сплошные линии — «экзамен») приведена схема обучающейся системы.

Самообучающиеся системы. В этих системах первоначальной априорной информации достаточно лишь для определения словаря признаков x1, ..., xN, но недостаточно для проведения классификации объектов. На стадии формирования системы ей предъявляют исходную совокупность объектов w1 ..., wl, заданных





Рис. 1.5


значениями своих признаков для w1 — (x11 ..., х1N); ...; для w1— (x11 ..., х1N). Однако из-за ограниченного объема первоначальной информации система при этом не получает указаний о том, к какому классу объекты исходной совокупности принадлежат. Эти указания заменяются набором правил, в соответствии с которыми на стадии самообучения система распознавания сама вырабатывает классификацию, которая, вообще говоря, может отличаться от естественной, и в дальнейшем ее придерживается. На рис. 1.6 (где ОС — объекты для самообучения; ТС — технические средства; БАР — блок алгоритмов распознавания; АИ — априорная информация; ПК — правила классификации; ФК — формирование классов; штриховые линии — режим самообучения; сплошные линии — распознавание неизвестных объектов) приведена схема самообучающейся системы.

Термин «полная первоначальная априорная информация» характеризует не абсолютное, а относительное количество необходимой информации. Он указывает на то, что в системах без обучения при прочих равных условиях количество первоначальной информации больше, чем в обучающихся системах распознавания одинаковых классов.

Системы обучающиеся или самообучающиеся получают недостающую априорную информацию в процессе обучения или самообучения. Более того, цель обучения или самообучения — выработать такое количество информации, которое необходимо для функционирования системы распознавания.

Создание обучающихся и самообучающихся систем распознавания обусловлено тем, что на практике достаточно часто встречаются ситуации, когда отсутствует полная первоначальная априорная информация.

При построении систем распознавания целесообразно использовать принцип обратной связи. Суть этого вопроса заключается в том, что результаты решения задачи распознавания неизвестных объектов следует использовать для уточнения априорного описания классов. Для этого блок априорной информации должен быть снабжен специальными алгоритмами корректировки априорных описаний классов. На рис. 1.4 — 1.6 легко прослеживается наличие обратной связи у рассмотренных типов систем распознавания.





Рис. 1.6


Если в качестве принципа классификации использовать характер информации о признаках распознаваемых объектов, которые подразделили на детерминированные, вероятностные, логические и структурные, то в зависимости от того, на языке каких признаков производится описание этих объектов, иначе — в зависимости от того, какой алгоритм распознавания реализован, системы распознавания могут быть подразделены на детерминированные, вероятностные, логические, структурные и комбинированные.

Детерминированные системы. В этих системах для построения алгоритмов распознавания используются «геометрические» меры близости, основанные на измерении расстояний между распознаваемым объектом и эталонами классов. В общем случае применение детерминированных методов распознавания предусматривает наличие координат эталонов классов в признаковом пространстве либо координат объектов, принадлежащих соответствующим классам.

Вероятностные системы. В данных системах для построения алгоритмов распознавания используются вероятностные методы распознавания, основанные на теории статистических решений. В общем случае применение вероятностных методов распознавания предусматривает наличие вероятностных зависимостей между признаками распознаваемых объектов и классами, к которым эти объекты относятся.

Логические системы. В этих системах для построения алгоритмов распознавания используются логические методы распознавания, основанные на дискретном анализе и базирующемся на нем исчислении высказываний. В общем случае применение логических методов распознавания предусматривает наличие логических связей, выраженных через систему булевых уравнений, в которой переменные — логические признаки распознаваемых объектов, а неизвестные величины — классы, к которым эти объекты относятся.

Структурные (лингвистические) системы. В этих системах для построения алгоритмов распознавания используются специальные грамматики, порождающие языки, состоящие из предложений, каждое из которых описывает объекты, принадлежащие конкретному классу. Применение структурных методов распознавания требует наличия совокупностей предложений, описывающих все множество объектов, принадлежащих всем классам алфавита классов системы распознавания. При этом множество предложений должно быть подразделено на подмножества по числу классов системы. Элементами подмножеств и являются предложения, описывающие объекты, принадлежащие данному подмножеству (классу). Таким образом, априорными описаниями классов являются совокупности предложений, каждое из которых соответствует конкретному объекту, принадлежащему данному классу.

Комбинированные системы. В этих системах для построения алгоритмов распознавания используется специально разработанный метод вычисления оценок. Такие алгоритмы распознавания называют алгоритмами вычисления оценок (АВО) (см. гл. 7). Их применение требует наличия таблиц, где содержатся объекты, принадлежащие соответствующим классам, а также значения признаков, которыми характеризуются эти объекты. Признаки могут быть детерминированными, логическими, вероятностными и структурными.





Рис. 1.7


Возможная классификация систем распознавания объектов и явлений, основанная на различных свойствах информации, используемой в процессе распознавания, показана на рис. 1.7.


§ 1.4. Экспертные системы распознавания


Рассмотренная классификация систем распознавания и принципы их функционирования отражают современное состояние вопроса. Все виды систем распознавания базируются на строго формализованном описании каждого класса объектов или явлений на языке признаков. Другое дело, как получены эти описания — то ли на основе методов непосредственной обработки исходной информации об объектах, то ли на основе методов обучения или самообучения. И также не имеет значения, какие признаки — детерминированные, вероятностные, логические, структурные или те, и другие, и третьи при этом используются.

Отличительная особенность всех современных функционирующих систем распознавания заключается в том, что их основу составляют вполне определенный алфавит классов и словарь признаков. При этом каждый класс объектов или явлений на основе априорных данных четко описывается на языке этих признаков. Кроме того, в состав математического обеспечения современных систем входят правила принятия решений — алгоритмы распознавания. Они предназначены для сопоставления апостериорной информации о каждом распознаваемом объекте, представляемой в виде совокупности конкретных значений присущих ему признаков, выявленных в результате проведения с помощью измерительных средств опытов, с априорной информацией о классах объектов. На основе этого сопоставления и принимается решение об отнесении неизвестного объекта к определенному классу, если система не отказывается от его распознавания. Последнее происходит, как правило, в тех ситуациях, когда на входе системы появляется объект, относящийся к классу, который не содержится в ее алфавите классов.

Именно рассмотрению современных систем распознавания в указанной трактовке и посвящено содержание настоящей книги.

Рассмотрим вкратце перспективные системы распознавания, связанные с разработкой ЭВМ пятого поколения. Известно, что впервые задача разработки принципиально новых ЭВМ была поставлена японскими учеными и инженерами, создавшими специальный научно-исследовательский центр по обработке информации. В 1981 г. центр опубликовал отчет, содержащий детальный план научно-исследовательских и опытно-конструкторских работ, посвященный созданию к 1991 г. прототипа ЭВМ пятого поколения. Не будем рассматривать особенности этих ЭВМ, связанных с их элементной базой и архитектурой, принципиальными и конструктивными решениями процессоров, запоминающих и терминальных устройств, а также программными средствами и языками программирования, так как имеется сравнительно много публикаций. Важно отметить, что ЭВМ пятого поколения будут «интеллектуальными» машинами, обладающими элементами искусственного интеллекта.

Остановимся на двух, едва ли не основных аспектах искусственного интеллекта, связанных непосредственно с проблематикой распознавания, которые найдут программное отражение в перспективных ЭВМ пятого поколения [4].

Первый аспект искусственного интеллекта состоит в том, что эти машины, как планируется, должны быть приспособленными к «дружелюбному» отношению к пользователям, заключающемуся в том, что последние, даже не специалисты в области ЭВМ, смогут общаться с ними с помощью естественных для человека средств общения — речи, рукописного текста, изображений. Реализация интеллектуального человеко-машинного интерфейса сопряжена с возможностью решения задач распознавания и понимания естественного языка. Для этого ЭВМ пятого поколения будут снабжены системами распознавания (речи, рукописных текстов, изображений), принципиально отличающимися от современных систем распознавания.

Как известно, каждому человеку свойственна своя уникальная дикция, присущ свой уникальный почерк. Это исключает возможность при построении алфавита классов соответствующих систем распознавания пользоваться принципом «буква — класс», так как каждый из нас произносит и пишет любую букву и цифру по-своему. Использование же принципа «слово — класс» привело бы к алфавиту классов необъятных размеров, состоящему из многих сотен или даже тысяч классов. Именно в связи с этими обстоятельствами ЭВМ пятого поколения будут обладать специальными базами знаний, в данном случае знаний в области соответствующего языка — его орфографии, синтаксиса, лексики, формальных правил построения фраз на данном языке. Взаимодействие «понимающих программ» иначе распознающих систем с базами знаний и должно обеспечить эффективный «дружелюбный» диалог на естественном языке пользователя и ЭВМ.

Эффективных «понимающих программ», насколько известно, пока не существует. На описании их прообразов, которые разрабатываются как у нас в стране, так и за рубежом, не будем останавливаться, так как работы в этом направлении находятся на самых ранних стадиях.

Второй аспект искусственного интеллекта, который будет свойствен машинам пятого поколения (хотя можно рассуждать и так: машины пятого поколения обеспечат практическую реализацию ряда аспектов искусственного интеллекта) состоит в широкими эффективном использовании экспертных систем различного назначения. Хотя экспертные системы не являются порождением ЭВМ пятого поколения, они существуют и сегодня, будучи реализованными на современных ЭВМ, тем не менее именно технические характеристики ЭВМ пятого поколения должны обеспечить возможность построения высокоэффективных экспертных систем.

Существуют различные суждения о том, что представляет собой экспертная система. Однако не входя в противоречие с различными точками зрения, можно утверждать следующее. Экспертная система представляет собой совокупность знаний эксперта или группы экспертов в данной конкретной предметной области (например, та или другая область медицины, аэродинамика или газовая диамика, двигатели внутреннего сгорания или реактивные двигатели, турбины газовые или гидравлические и т. п.). Эти знания определенным образом структурированы и программно реализованы в соответствующих базах знаний, доступ к которым осуществляется с помощью информационно-поисковых систем.

Наличие баз знаний в различных предметных областях позволяет широкому кругу пользователей путем диалога с ЭВМ получать нужные сведения. Однако этим не ограничивается назначение перспективных экспертных систем. Более того, это не основное ее назначение. Главное состоит в том, что благодаря специальным программам логических выводов экспертные системы смогут давать интеллектуальные советы или принимать интеллектуальные решения, в том числе при распознавании неизвестных объектов или явлений.

Как и некоторые из существующих в настоящее время систем распознавания, экспертные системы распознавания будут представлять собой многоуровневые системы.

Верхний уровень системы призван на основе обработки логических выводов нижнего (нижних) уровня вырабатывать окончательные решения. При этом системы как нижнего, так и верхнего уровней должны делать выводы не так, как это делается в современных системах распознавания — путем сопоставления измерительной апостериорной информации с априорной, формализованной в виде описания классов на языке признаков, а методами дедукции, индукции, по аналогии с другими методами, свойственными только человеку. Предполагается, что эти функции будут реализованы в виде программного обеспечения на специальных языках, позволяющих решать задачи (в том числе распознавания) с помощью последовательности логических выводов. При этом полученные логические выводы должны порождать новые высказывания, новые знания, пополняющие базу знаний.

Одним из научных фундаментов экспертных систем распознавания является теория нечетких множеств, основы которой созданы американским математиком Л. Заде. Именно классы объектов в этих системах распознавания будут представляться в виде нечетких множеств, а принадлежность объектов или явлений к этим классам будет базироваться на уравнениях, выполняющих функции эквивалентности применительно к данным, характеризующим эти нечеткие множества. При этом значения принадлежности к этим множествам будут определяться либо коэффициентами вероятности, либо коэффициентами принадлежности, которые могут принимать значения и большие единицы.

Введение в рассмотрение нечетких множеств позволяет весьма основательно расширять описания классов за счет полутонов, нюансов, которые бывает подчас достаточно трудно формализовать (например, объект почти круглой формы, нежно-голубого цвета, примерно равный по объему бильярдному шару, и т. п.). Важная особенность экспертных систем распознавания состоит в том, что они будут функционировать в режиме диалога пользователя (врача — в системах медицинской диагностики, инженера — в системах технической диагностики и т. д.) с ЭВМ. Машина, получив исходную экспериментальную информацию о распознаваемом объекте или явлении, выбрав необходимые знания из базы знаний и произведя надлежащие логические выводы и применяя методы индукции, дедукции, аналогии, генерирует гипотезы о принадлежности распознаваемого объекта к тому или иному классу, не противоречащие полученной информации. Кроме того, машина определяет и сообщает пользователю, какую необходимо получить дополнительную информацию об объекте или явлении. Ее использование в процедурах распознавания может привести либо к установлению одной-единственной гипотезы (не обязательно из числа первоначально сформированных), либо к генерированию новых. В ходе последующего диалога, реализуемого на основе получения дополнительной информации, формируется окончательное решение о распознаваемом объекте или явлении.


Глава 2 ОБЩАЯ ПОСТАНОВКА ПРОБЛЕМЫ РАСПОЗНАВАНИЯ ОБЪЕКТОВ И ЯВЛЕНИЙ


Выше были обсуждены основные задачи, возникающие при построении систем распознавания, и приведена достаточно полная их классификация. Теперь рассмотрим содержательную и формальную постановку проблемы распознавания, базирующиеся на следующих положениях. Во-первых, решение задач распознавания требует в общем случае построения специальной системы распознавания. Во-вторых, решение задачи распознавания необходимо (также в общем случае) для того, чтобы система управления, стоящая над системой распознавания, могла принимать правильные решения. Например, система медицинской диагностики призвана устанавливать диагноз больных для того, чтобы врач мог принимать обоснованные решения о выборе стратегии лечения; система геологической разведки — распознавать наличие и характеристики полезных ископаемых в интересах принятия решений относительно их разработки; система распознавания целей — определять их вид, назначение, характеристики для того, чтобы принимались решения относительно необходимых мер противодействия этим целям, и т. д.

Исходя из сказанного, системы распознавания должны строиться так, чтобы обеспечивать системе управления возможность наиболее эффективно распоряжаться своими ресурсами, допустимым набором решений, а само построение систем распознавания, как и любых технических систем, не может быть осуществлено без учета соответствующих ограничений.

Предлагаемая ниже постановка проблемы распознавания существенно отличается от традиционной, утвердившейся в литературе по распознаванию образов.


§ 2.1. Содержательная трактовка проблемы распознавания


Процесс распознавания состоит в том, что система распознавания на основании сопоставления апостериорной информации относительно каждого поступившего на вход системы объекта или явления с априорным описанием классов принимает решение о принадлежности этого объекта (явления) к одному из классов. Правило, которое каждому объекту ставит в соответствие определенное наименование класса, называют решающим правилом. В литературе, посвященной распознаванию образов, утвердилось мнение, что суть проблемы распознавания заключается в определении решающих правил, нахождении в признаковом пространстве таких границ (решающих границ), придерживаясь которых признаковые пространства оптимальным образом, например с точки зрения минимизации ошибок распознавания, подразделяются на области, соответствующие классам. Так, в [5] сказано, что в отыскании таких решающих правил на основании заданных описаний классов и заключается проблема распознавания.

При определении решающих правил (решающих границ в признаковом пространстве) в зависимости от объема исходной априорной информации рассматриваются следующие ситуации:

1. Количество исходной информации достаточно для того, чтобы путем ее анализа и непосредственной обработки определить решающие правила (системы распознавания без обучения, см. рис. 1.4).

2. Количество исходной информации недостаточно для определения решающих правил на основе ее непосредственной обработки, в связи с чем реализуется процедура обучения (обучающиеся системы распознавания, см. рис. 1.5).

В ситуациях 1 и 2 задача отыскания решающих правил базируется на том, что алфавит классов объектов и априорный словарь признаков, предназначенных для их описаний, известны. Рассматривается также и такая ситуация, когда словарь признаков известен, но неизвестен алфавит классов. При этом, однако, определен некоторый набор правил, в соответствии с которыми на основании процедуры самообучения находится искомый алфавит классов. Затем определяются решающие правила (самообучающиеся системы, см. рис. 1.6).

Исторически сложилось так, что первые теоретические исследования и прикладные работы в области распознавания базировались на том, что признаковое пространство известно, известен также и алфавит классов. В этих условиях проблема распознавания действительно может трактоваться как проблема определения в некотором смысле наилучших решающих границ (решающих правил). В настоящее время часто при построении распознающих устройств имеет место ситуация, когда известны и алфавит классов, и словарь признаков. Однако в общем случае при построении реальных систем распознавания, требующих разработки специальных измерительных средств и целых измерительных комплексов, исходить из того, что алфавит классов и словарь признаков априорно известны, к сожалению, не приходится.

Назначение систем распознавания — получить информацию, необходимую для принятия определенных решений, о принадлежности неизвестного объекта (явления) к тому или иному классу. Именно так обстоит дело в системах медицинской и технической диагностики, геологической разведки, метеорологического прогноза, криминалистике, системах распознавания целей и т. п. Поэтому системы распознавания, являясь частью системы управления (автоматической или автоматизированной), должны строиться с учетом обеспечения наиболее эффективного использования всего набора допустимых решений. Этот факт накладывает на построение систем распознавания следующие ограничения.

1. При прочих равных условиях повышение эффективности принимаемых решений следует связывать со степенью детализации определения или назначения либо характера распознаваемого объекта или явления. Степень детализации определяется количеством классов, на которое подразделено множество объектов или явлений. Так, если система управления располагает m различными решениями, то в алфавите классов системы распознавания, учитывая сказанное, целесообразно предусмотреть m+1 классов. Тогда, если распознанный объект относится к классу Ω1 принимается решение l1, если к классу Ω2 — решение h и т. д., если же объект относится к классу Ωm+1, решение не принимается.

2. Эффективность принимаемых системой управления решений при прочих равных условиях (в том числе, естественно, при заданном алфавите классов) зависит от точности определения принадлежности распознаваемого объекта или явления к соответствующему классу. Точность же определения или ошибка распознавания при заданном по точности априорном описании классов определяется размерностью и информативностью признакового пространства, объемом и качеством апостериорной информации о значениях признаков (параметров), которыми характеризуется распознаваемый объект. Иначе говоря, расширение алфавита классов, увеличивающее степень детализации определения назначения либо характера распознаваемого объекта (явления), при неизменном словаре признаков увеличивает ошибку распознавания.

Пусть заданы три класса Ω1, Ω2 и Ω3 объектов распределениями f1(х), f2(x),f3(x) априорными вероятностями появления объектов соответствующих классов P(Ω1)=P(Ω2)=P(Ω3)=P, а также потерями c11 = c22 = с33 = 0 и с12 = с21 = c13 = с31 = с23 = с32 = с.

На рис. 2.1 представлены законы распределений. Средний (байесовский) риск (см. § 4.2)






(2.1)


Положим теперь, что объекты, относящиеся к классам Ω1 и Ω2, решено объединить в один класс Ω4, описание которого





Средний риск в данном случае в предположении неизменности границы b составит




(2.2)


Из сравнения величин Rã1 и Rã2 видно, что Rãl>Rã2 на величину





Следовательно, при заданном признаковом пространстве и прочих равных условиях уменьшение числа классов приводит





Рис. 2.1


к уменьшению ошибок распознавания и, наоборот, при увеличении числа классов системы распознавания в целях поддержания на заданном уровне или даже уменьшения среднего риска (вероятности ошибочных решений) надо расширять словарь признаков (естественно, при прочих равных условиях). В то же время расширение признакового пространства в целях уменьшения ошибок распознавания сопряжено с увеличением числа технических измерительных средств, каждое из которых обеспечивает определение соответствующего признака или группы признаков. Это, в свою очередь, требует увеличения затрат на построение системы распознавания. На величину же затрат в реальных условиях, как правило, накладываются те или другие ограничения.

Таким образом, стремление по возможности наиболее эффективно использовать набор возможных решений системы управления приводит к необходимости увеличения алфавита классов до m+1. Однако естественная ограниченность ресурсов, ассигнованных на построение измерительных средств системы распознавания или системы распознавания в целом, приводит к тому, что по мере увеличения алфавита классов ошибки распознавания растут, а это уменьшает эффективность использования возможных решений. Только некоторый компромисс между размерами алфавита классов и объемом рабочего словаря признаков системы, базирующийся на исходных данных относительно набора возможных решений и величины ресурсов, отпущенных на создание измерительной аппаратуры, реализующей словарь признаков, позволяет обеспечить решение задачи построения системы распознавания оптимальным образом.

Итак, в общем случае при построении систем распознавания приходится иметь дело со следующей ситуацией. Создается некоторая система управления, реализующая то или другое управление в зависимости от результатов оценки, существенных свойств, характера, назначения объекта или явления, его распознавания. Система управления располагает конечным числом решений. Составляющая эффективности управлений, зависящая от функционирования системы распознавания, обусловливается двумя факторами. Первый фактор связан со степенью детализации распознавания объектов или явлений, наибольшее значение которой будет в том случае, если число классов, содержащихся в алфавите классов системы распознавания, равно количеству возможных решений (плюс единица — последний класс, объекты которого не распознаются). Второй фактор — точность решения задачи распознавания. Естественно, чем она выше, тем меньше вероятность принять решение, не соответствующее особенностям данного объекта или явления. Например, применить не адекватную заболеванию стратегию лечения в случае использования системы медицинской диагностики; применить не по назначению данное средство противодействия в случае использования системы распознавания целей и т. п. Однако при заданном словаре признаков увеличение алфавита классов уменьшает точность решения задачи распознавания. Увеличение же словаря признаков в общем случае связано с разработкой новой или использованием существующей измерительной аппаратуры, что влечет за собой увеличение расходов на построение системы распознавания.

Таким образом, суть проблемы распознавания состоит в разработке таких алфавита классов и словаря признаков, которые в условиях ограниченных ресурсов на построение системы распознавания обеспечивают максимальную эффективность системы управления, принимающей соответствующее решение в зависимости от результатов решения задачи распознавания. При этом, безусловно, выбирая словарь признаков и определяя алфавит классов, следует находить наилучшие решающие правила, решающие границы между классами. Однако в общем случае не в этом состоит проблема распознавания, как не важна и как подчас не сложна задача определения оптимальных решающих правил, обеспечивающих в условиях заданных алфавита классов и словаря признаков наибольшую точность распознавания [6]. Более того, при построении логических систем распознавания, использующих либо алгоритмы распознавания, основанные на методах алгебры логики, либо структурных (лингвистических) систем (см. гл. 8), решающие правила вообще не определяются.

Таким образом, нет достаточных оснований считать справедливым суждение о том, что проблема распознавания состоит в определении решающих правил (решающих границ).


§ 2.2. Постановка задачи распознавания


Пусть задано множество объектов или явлений Ω={w1 ..., ..., wz}, а также множество возможных решений L={l1, ..., lk}, которые могут быть приняты системой управления по результатам решения задачи распознавания. Введем в рассмотрение множество возможных вариантов разбиения объектов на классы А = {А1 ..., Аr}. Будем полагать, что если выбран вариант разбиения Аα,α=1,...,r, то множество Ω подразделяется на mα классов, т. е.

Пусть первоначальная информация позволяет построить априорное признаковое пространство (составить априорный словарь признаков), описываемое многомерным вектором хα= {х1 ..., xN Информация относительно множества решений L={11, ..., lk} позволяет произвести исходное разбиение множества объектов на классы, т. е. составить априорный алфавит классов. В первом варианте подразделения объектов на классы (α= 1), т. е. когда Аα1 их число равно mα=m1=k+1. Исходное множество объектов Ω = {w1, ..., wz (обучающую выборку) подразделим на подмножества — классы

Пусть первоначальная информация позволяет построить априорное признаковое пространство (составить априорный словарь признаков), описываемое многомерным вектором xα={x1, ..., .., xN}. Информация относительно множества решений L= {11, ..., lk } позволяет произвести исходное разбиение множества объектов на классы, т. е. составить априорный алфавит классов. В первом варианте подразделения объектов на классы (α= 1), т. е. когда Aα=A1, их число равно mα=m1=k+1. Исходное множество объектов Ω = { w1, ..., wz } (обучающую выборку) подразделим на подмножества — классы

Если обучающая выборка достаточно представительна, то непосредственной обработкой исходной информации можно определить описания классов.

При статистическом подходе к задаче распознавания такими описаниями являются априорные вероятности Р(ΩA11) появления объектов соответствующих классов, а также условные плотности распределения значений признаков по классам, т. е. функции

Если объем исходной априорной информации недостаточен для непосредственного описания классов, то они могут быть получены с помощью процедуры обучения.

Наличие описаний классов в принципе позволяет определить решающие правила (решающие границы), использование которых обеспечивает минимизацию ошибок при распознавании неизвестных объектов.

Обозначим оценку апостериорной вероятности правильного решения задачи распознавания, усредненную по всем возможным значениям признаков априорного словаря, описываемого вектором хд. Эта оценка может быть получена проведением статистических испытаний (метод Монте — Карло) математической модели системы распознавания (см. гл. 10).

Если бы не было ограничений на величину ресурсов, ассигнованных на построение измерительных устройств, предназначенных для определения признаков х1, х2, ..., то можно было бы полагать, что основные характеристики системы распознавания — алфавит классов и словарь признаков — определены, и можно приступать к построению системы распознавания. В условиях ограничений, когда реализовать априорное признаковое пространство хαα={х1 ..., xN в полном объеме не представляется возможным, приходится его сокращать по сравнению с априорным, т. е. переходить от априорного словаря признаков к рабочему.

Рассмотрим вектор ={1 ..., N}, компоненты которого j=10 (в зависимости от того, используется ли данный признак априорного словаря в рабочем словаре или нет). Кроме того, введем обозначение для рабочего словаря xp = {xj1 ..., xjn}, где j1, ..., jn1, ..., N, т. е. множество признаков рабочего словаря состоит из элементов множества признаков априорного словаря (рабочий словарь представляет собой подмножество множества признаков априорного словаря).

Обозначим Сj стоимость создания измерительного устройства, обеспечивающего определение хj-то признака, j=l, ..., N, а С0 — общую величину ресурсов, ассигнованных на создание всех измерителей. Если то в качестве рабочего словаря системы распознавания может быть использован априорный словарь. Однако в общем случае, как правило, суммарная стоимость создания комплекса технических средств, обеспечивающих измерение всех признаков априорного словаря, превышает величину С0, т. е. Затраты на создание комплекса технических средств системы, обеспечивающих измерение признаков рабочего словаря, определяются величинами

Обозначим G(ΩA1i) выигрыш, связанный с реализацией возможных решений при распознавании объекта w, отнесенного к классу ΩAi в варианте классификации А1. Тогда математическое ожидание выигрыша от выбора варианта А1 при использовании априорного словаря признаков




(2.3)


Величину R уместно рассматривать в качестве критерия эффективности системы распознавания. И следовательно, с его максимизацией нужно связывать увеличение эффективности ее функционирования.

В условиях ограничений, определяемых величиной С0, возникает следующая экстремальная задача: необходимо в пределах С0 найти такой вариант разбиения объектов на классы и такое пространство признаков, при которых обеспечивается максимальное значение критерия эффективности системы R. Другими словами, необходимо определить Аα0 из множества А = {А1, ..., Аα, ..., Аr} и вектор =0, которые при наилучшем решающем правиле доставляют экстремальное (максимальное) значение величины R при соблюдении ограничений на величину С С0, т.е.




(2.4)


с учетом

При этом А0 определяет алфавит классов, а 0 — оптимальный рабочий словарь признаков.

Итак, общая постановка проблемы распознавания объектов или явлений может быть сформулирована следующим образом: в условиях первоначального (априорного) описания исходного множества объектов на языке априорного словаря признаков необходимо в пределах выделенных ресурсов на построение измерительной аппаратуры определить оптимальный алфавит классов и оптимальный рабочий словарь признаков, которые при наилучшем решающем правиле обеспечивают наиболее эффективное использование решений, принимаемых по результатам распознавания неизвестных объектов или явлений системой управления.


§ 2.3. Метод решения задачи распознавания


Рассмотренная постановка проблемы распознавания позволяет определить последовательность задач, возникающих при разработке системы распознавания, предложить их формулировки и возможные методы решения. Наиболее экономный метод решения проблемы построения системы распознавания — метод математического или физико-математического моделирования. Основная идея работы предлагаемой модели разрабатываемой системы распознавания — реализация итеративной процедуры, обеспечивающей путем последовательных приближений синтез системы, эффективность работы которой достаточно близко приближается к потенциально достижимой.

Для построения модели необходимы:

1. Множество возможных решений, которые могут быть приняты системой управления на основании результатов распознавания неизвестных объектов или явлений L = {l1, ..., lk).

2. Априорный словарь признаков хa={х1 ..., xN}.

3. Исходное множество объектов Ω = {w1 ..., wz}.

4. Величина ресурсов С0, ассигнованных на построение измерительной аппаратуры системы.

5. Значения выигрышей, получаемых системой управления от конкретных решений из множества возможных решений L= {l1 ..., lk}, принимаемых по результатам решения задачи распознавания, т. е. величин G(ΩAαi), i=1, ..., m; α=1, ..., r.

Последовательность построения и работы модели состоит из таких этапов:

Первый этап предназначен для построения модели системы распознавания в первом приближении (a= 1). Алгоритм реализации этого этапа следующий.

1. Определяется первый вариант разбиения множества объектов на классы А1 в соответствии с которым количество классов m1=k+l. При этом к классу ΩA11 относятся объекты, применительно к которым следует принимать решение l1 к классу ΩA12 — объекты, к которым надо принимать решение l2, и т. д., к классу ΩA1k — объекты, к которым надо принимать решение 1k, к объектам класса ΩA1m1 решение не принимается.

2. Определяется непосредственно либо подмножество множества объектов каждого класса: либо разрабатывается некоторый набор правил относительно значений признаков, содержащихся в априорном словаре, в соответствии с которыми на основе методов самообучения при известном числе классов определяются объекты исходного множества, относящиеся к каждому классу.

3. Производится описание каждого класса на языке признаков априорного словаря, а затем находятся наилучшие решающие границы между классами. Эта задача проблемы распознавания — традиционная, методы ее решения достаточно подробно рассмотрены, например, в [5, 7, 8].

4. Проверяется, достаточна ли величина С0 для построения измерителей, обеспечивающих определение всех признаков хa= {х1 ..., xN} априорного словаря. Если то в рабочий словарь системы включаются все признаки априорного словаря. Если для определения первого приближения оптимального рабочего словаря системы (словаря, который при заданных ограничениях на величину С0 обеспечивает, например, либо минимум величины среднего риска, либо максимум среднеквадратичного расстояния между классами, либо экстремальное значение какого-нибудь другого критерия) могут быть использованы, в частности, методы, изложенные в гл. 5.

5. Производится описание классов ΩA1i, i=l, ..., m, на языке рабочего словаря признаков первого приближения и определяются наилучшие решающие границы между ними.

6. Оценивается вероятность правильного решения задачи распознавания Для этого строится математическая модель, подробно описанная в гл. 10, и проводятся ее статистические испытания.

7. Вычисляется первое приближение значения критерия эффективности системы R(1).

На этом завершается первый этап построения системы распознавания.

Второй и последующие этапы предназначены для уточнения модели системы. Их цель — определить такой вариант разбиения объектов на классы А0 и такой словарь признаков, при которых критерий R достигает наибольшего значения. Алгоритм реализации этих этапов таков.

1. Определяется в алфавите классов первого приближения такой класс ΩA1v, v = l, ..., m (либо, исходя из практических соображений, 2—3 класса), для которого величина Этo означает, что к классу Ωv относятся такие объекты, распознавание которых обеспечивает по сравнению распознаванием объектов других классов наименьший выигрыш.

2. Исключается из алфавита классов первого приближения класс ΩA1v, а объекты этого класса надлежит отнести к такому классу ΩA1, =1, ..., m, для которого уменьшение величины по сравнению с уменьшением величины , i=1, ..., m, минимально, т. е.

Таким образом, определяется второй вариант разбиения объектов на классы А2, применительно к которому вновь повторяются операции 1—7 и определяется второе приближение значения критерия R2 эффективности системы. Практически нескольких итераций достаточно для определения такого варианта построения системы, при котором критерий R эффективности системы достигает наибольшего значения.

В заключение следует заметить, что только системный подход к проблеме распознавания объектов и явлений позволяет в реальных условиях при наличии неизбежных ограничений добиться наибольшей эффективности комплекса «система распознавания + система управления».





оставить комментарий
страница1/11
Дата05.11.2011
Размер3.47 Mb.
ТипДокументы, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы:   1   2   3   4   5   6   7   8   9   10   11
отлично
  2
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Документы

Рейтинг@Mail.ru
наверх