скачать Министерство образования и науки Российской Федерации Московский физико-технический институт (государственный университет) УТВЕРЖДАЮ Проректор по учебной работе ___________Ю.А. Самарский «______» ____________ 2008 г. П Р О Г Р А М М А факультативного курса "НЕЙРОСЕТЕВЫЕ ТЕХНОЛОГИИ и ВВЕДЕНИЕ в НЕЙРОСЕМАНТИКУ" Кафедра: информатики Лекции: 60 часов Практические (семинарские) Зачет дифф. (экзамен).: занятия: 40 часов 12 часов Лабораторные занятия: 0 Самостоятельная работа ВСЕГО ЧАСОВ: 112 часов Программу составил к.ф.-м.н., доцент В.И. Бодякин Программа обсуждена на заседании кафедры информатики 28 августа 2008г. Заведующий кафедрой, профессор И.Б. Петров Программа факультативного курса "Нейросетевые технологии и введение в нейросемантику" для студентов и аспирантов МФТИ (к.ф.-м.н. с.н.с. ИПУ РАН Бодякин В.И.) Аннотация: В основе курса лежит знакомство с современными хорошо разработанными нейросетевыми технологиями и авторским курсом нейросемантики. Материал по нейросетевым технологиям хорошо отражен в литературе, см. список основная литература: Ф.Уоссермен и С.А.Терехов. По поводу курса нейросемантики можно сказать,что он является эволюционным развитием направления нейросетевых технологий. В основе нейросемантики лежит теория, согласно которой при минимизации отображения информационного потока из физической предметной области, на нейроподобных средах формируется топологически гомомофная структура, которая является автоматически сформированной информационной моделью предметной области. В каждом нейроподобном элементе отображается процесс-объект априорно неизвестной предметной области. На этом этапе можно уже строить информационно-поисковые системы, процедурно включая эвристические методы обработки данных. Но в нейросемантике предполагается и дальнейшая автоматизация, а именно, автоматическое формирование правил на примерах, основанное на том же принципе минимизации отображения, только теперь уже дополнительно и состояний самой нейроподобной среды вызванного входным информационным потоком из предметно области. Это широкий фронт продолжающихся исследований, который может быть интересен и полезен дипломникам и аспирантам МФТИ. С позиций нейросемантики предполагается: а) рассмотрение модели механизмов самоорганизации простейших информационных систем (ИС) и дальнейшее их эволюционное саморазвитие до уровня интеллектуальных ИС через ряд эволюционных аттракторов. б) рассмотрение необходимых базовых функций и конструирование нейроподобных элементов как простейших ИС и как элементную базу для направления нейросемантики. в) рассмотрение механизмов самоформирования интеллектуальных ИС на примере нейросемантических регуляторов. г) механизмы автоматического формирования моделей априорно неизвестных предметных областей. Учебная задача курса: сформировать комплексную картину текущего состояния в области обработки крупномасштабных неструктурированных потоков информации (например, Интернет) и продемонстрировать студентам основные элементы процесса автоматизации посредством нейросетевого и нейросемантического подхода как обобщенного фундаментального научного направления. Более подробно по направлению нейроинформатики можно посмотреть: см. список основная литература: В.И.Бодякин. и на сайте www.informograd.narod.ru/ Лекционный курс ВВЕДЕНИЕ (занятие 1) (4 часа) Автоматизация информационных процессов. Понятие алгоритма. Формализация решения задачи. Персептрон и фон-неймановская ЭВМ - два потока автоматизации обработки информационных процессов. Эволюция поколений ЭВМ. Элементная и программные базы (сегодняшнее состояние). N-P полные задачи, "проклятие размерности", теоремы Геделя Сравнительные характеристики нейросемантики и нейросетевого подхода. НЕЙРОННЫЕ СЕТИ (40 часов) (занятие 2) Биологический нейрон. Типы. Характеристики. Нейронные структуры. Сведения из биологии, физиологии высшей нервной деятельности Математическая модель биологического нейрона - формальный нейрон Мак-Каллока и Питтса. Функциональные свойства. (занятие 3) Персептрон, линейная разделимость и теорема Розенблатта об обучении. Алгоритм обучения персептрона. Обучение нейронной сети, как задача комбинаторной оптимизации. Анализ алгоритма обучения персептрона. (занятие 4) Правило Хебба. Конфигурации сетей с обратными связями. Модель Хопфилда и ее обобщения. Моделирование и анализ работы сети Хопфилда (занятие 5) Процедура обратного распространения. Многослойные нейронные сети, иерархические нейронные сети. Алгоритм обратного распространения ошибок. Дальнейшие алгоритмические разработки. Моделирование и анализ алгоритма обратного распространения ошибок (занятие 6) Сети встречного распространения. Введение в сети встречного распространения. Структура сети. Нормальное функционирование. Обучение слоя Кохонена. Обучение слоя Гроссберга. Модели нейронной сети Кохонена. Адаптивный кластерный анализ и карта самоорганизации Кохонена. Приложение: сжатие данных. (занятие 7) Стохастические методы. Использование обучения. Приложения к общим нелинейным задачам оптимизации. Обратное распространение и обучение Коши. (занятие 8) Двунаправленная ассоциативная память. Структура ДАП. Восстановление запомненных ассоциаций. Кодирование ассоциаций. Емкость памяти. Непрерывная ДАП. Адаптивная ДАП. Конкурирующая ДАП. Моделирование и анализ двунаправленной ассоциативной памяти (занятие 9) Адаптивная резонансная теория. Архитектура APT. Реализация APT. Пример обучения сети APT. Характеристики APT. (занятие 10) Современные нейросетевые архитектуры, КОГНИТРОН и НЕОКОГНИТРОН Фукушимы. Алгоритмы генетического поиска для построения топологии и обучения нейронных сетей. (занятие 11) Оптические нейронные сети. Векторно-матричные умножители. Голографические корреляторы. Области применения нейронных сетей, нейро-ЭВМ шестого поколения, нейропроцессоры, математическое обеспечение, научные и коммерческие приложения. НЕЙРОСЕМАНТИЧЕСКИЕ СТРУКТУРЫ (12 часов) (занятие 12) Характеристики N-элемента и его основные свойства. Пространственно-временное преобразование N-элемента. Слои N-элементов, структуры слоев, иерархия структур. Классы решаемых задач. (занятие 13) Характер и направленность законов эволюции материи. Физические и информационные среды. Природа информации. Метрика. Понятие ресурса. Материальный, информационный, интеллектуальный и социально-экономический ресурсы. Энтропия физическая и информационная. Абсолютная текстовая энтропия. Относительная текстовая энтропия. (занятие 14) Информационный поток. Сигнал. Образ. Автоструктуризация. Инструментальные алгоритмы. Гомоморфность структур. Технические характеристики: компрессия данных, время доступа (идентификации) надежность хранения. Моделирование на ЭВМ. ЗАКЛЮЧЕНИЕ (занятие 15) (4 часа) Человек и машина. Информационная производительность. Модифицированный тест Тьюринга. Феноменологический алгоритм. Два класса задач. Автоматическое формирование правил. Естественная логика. Преимущества и недостатки: ЭВМ - нейронные сети - биологический мозг. Интеллектуальное рабочее место исследователя. Технологии работы. ПРАКТИЧЕСКИЕ ЗАНЯТИЯ (40 часа) Выбор и работа с моделью нейронной сети
Литература: Основная
http://www.ipu.ru/stran/bod/monograf.htm Дополнительная
|