Дипломная работа студента 544 группы icon

Дипломная работа студента 544 группы


1 чел. помогло.
Смотрите также:
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 544 группы...
Дипломная работа студента 545 группы...



Загрузка...
страницы: 1   2   3   4   5   6   7
вернуться в начало
скачать
^

Рандомизированный алгоритм стохастической

аппроксимации (SPSA) и модель распознавания звука


Как уже упоминалось прежде, вектора свойств звукового сигнала поступают на вход SPSA алгоритма и представляются как точки в многомерном евклидовом пространстве.

По поступающей обучающей цепочке алгоритм определяет центры l классов, которые обозначают различные слова, распознаваемые моделируемой системой. Координаты центров являются векторами свойств слов - шаблонов, с которыми сравниваются входные сигналы. Слово отождествляется с определенным классом мерой близости вектора свойств его сигнала к центру класса.

Рассматриваемый алгоритм используется лишь для формирования эталонных слов. Для распознавания речевых команд используется традиционный метод сравнения с эталонами с последующим нахождением минимального расстояния до них. Расстояние между речевыми записями и эталонами рассчитывается на основе методов динамического программирования.

В качестве первоначальных центров классов можно выбрать любые l точек пространства, но для обеспечения быстрой сходимости лучше взять точки более-менее близко расположенные к предполагаемым центрам классов.

Выбор распознаваемых слов, вообще говоря, имеет значение: чем они сильнее фонетически отличаются друг от друга, тем проще их распознавать. Но часто бывает так, что распознаваемые слова оказываются созвучны. Поэтому важно определить центры классов так, чтобы они находились на максимально возможном расстоянии друг от друга.
^

Свойства SPSA алгоритма и задача самообучения

Задача самообучения


Пусть имеется некоторая классифицирующая система, которая в состоянии классифицировать любой входной сигнал (стимул) x, относя его к какому-либо определенному множеству. Система, дополненная способом изменения параметров, может подгонять свою классификацию к некоторой требуемой и, тем самым, демонстрировать свойство обучаемости или адаптации. Такая подгонка требует определенной дополнительной информации о классификации. Обычно эта информация поступает с обучающей последовательностью состоящей из классифицированных требуемым образом входных сигналов. Уточнение характера этой информации приводит к различным постановкам задачи обучения. Сам процесс подбора параметров с помощью обучающей последовательности носит название процесса обучения.

Для любых непересекающихся ограниченных множеств, разделенных положительным расстоянием, существует конечный набор пороговых функций, отображающий их в линейно-разделимые множества. Этот фундаментальный факт лежит в основании методов моделирования с использованием нейронных сетей и методов, работающих на основе SVM (Support Vector Machines) [14].

По окончании процесса обучения система определяет множества, которые принимаются в качестве требуемого разбиения. Они могут не совпадать с реальным разбиением. Это отличие, выраженное каким-либо способом, будет определять качество работы обученной системы.

Если процедуры построения оценок в задачах обучения опираются на использование при обучении указаний учителя о классификации обучающей последовательности, то их называют обучением с учителем. Возможна похожая постановка задачи обучения, в которой указания учителя не используются. Тогда говорят о задаче самообучения, а сам процесс обучения сводится к определению последовательности оценок, минимизирующих функционал специального вида [9].
^

Автоматическая классификация входных сигналов


С содержательной точки зрения смысл автоматической классификации состоит в построении правила, сопоставляющего каждой точке х множества X некоторый образ (класс). Подразумевается, что сопоставленные одному и тому же образу точки обладают некоторым общим свойством, которое и порождает этот образ. Например, таким свойством может быть близость расположения точек к некоторому "центру", и тогда понятие образа (класса) связано с обычным представлением о компактном расположении точек, принадлежащих тому или иному образу (классу).

Правило классификации может быть однозначным (детерминированным), при котором каждой точке х множества X сопоставляется вполне определенный образ, либо недетерминированным, когда каждой точке х множества X сопоставляются значения некоторого набора функций, определяющих степень достоверности принадлежности точки х к каждому из возможных образов. Для упрощения будем предполагать, что количество образов (классов) конечно и равно l. В обоих случаях для формальной записи правила классификации целесообразно ввести набор функций - степеней достоверности, обладающих свойствами

0<=pk(x)<=1, k = 1,…,l,


Всякий способ классификации связан с потерями, которые обычно характеризуются с помощью штрафных функций (стоимости) qk(x,), k = 1,2,…,l, - набор векторов, характеризующий центры классов. В типичных случаях, когда X - вещественное векторное пространство, значения штрафных функций qk(x,) возрастают при удалении х от центра соответствующего образа (класса).

Предположим, что на множестве X задано некоторое распределение вероятностей . Одна из возможных постановок задачи автоматической классификации состоит в определении наборов и * из некоторого компактного множества , минимизирующих средние потери классификации, равные





Для фиксированных х и при варьировании функций pk(x) значения суммы, стоящей под знаком интеграла, заполняют всю выпуклую оболочку точек qk(x,), k = 1,2,…,l. Следовательно, минимизация средних потерь классификации достигается на наборе функций , в котором =k,j(x,) , где

а целочисленная функция определяется как номер, соответствующий ш
трафной функции с минимальным значением


= argminkqk(x,).


Разобьём множество X на l классов (образов) X1(), X1(),…,Xl() по правилу


О

бозначим через характеристические функции соответствующих множеств, а через J(x,) и Q(x,) - l-мерные векторы, первый из которых составлен из значений и состоит из нулей и единицы, а второй из qk(x,). Учитывая последние замечания и введённые обозначения, можно определить функционал качества классификации

рассматривая его как функцию набора центров классов. Этот функционал обычно называют функционалом среднего риска в задаче самообучения. Здесь и далее использованы обозначения и для евклидовой нормы и скалярного п
роизведения.

Разбиение множества

называется байесовским (оптимальным среди ), если параметр разбиения выбран из условия минимизации функционала среднего риска.

В
рассмотренном варианте оптимальная классификация соответствует чистым стратегиям. Если изменить постановку задачи и рассматривать минимизацию функции


то оптимальная классификация может иметь вид смешанной стратегии, т. е. не быть однозначной.

П
оясним геометрический смысл формально описанной выше задачи автоматической классификации. Пусть X - вещественное векторное пространство, и штрафные функции имеют похожий друг на друга вид

Рассмотрим разбиение множества X на l классов по правилу: к множеству относятся все точки x, которые находятся к центру ближе, чем к любому другому. Для однозначности считаем, что в случае равенства расстояний до нескольких центров, точка х относится к классу, соответствующему центру с меньшим номером. Интеграл

о

пределяет рассеяние точек х в множестве . Определенный выше функционал среднего риска принимает вид

Таким образом, в рассмотренном случае задача автоматической классификации состоит в определении набора центров , при которых суммарное рассеивание минимально. Заметим, что при перестановке местами векторов внутри набора значение определенного выше функционала среднего риска не изменяется. А, следовательно, если рассматриваемая задача имеет решение, то оно не обязательно должно быть единственным.

Искомый набор центров должен удовлетворять уравнению .

З
адача самообучения
тесно связана с задачей автоматической классификации и является обобщением последней на случай неизвестного распределения, определяющего статистику показа классифицируемых сигналов. Пусть распределение вероятностей неизвестно, но предполагается известной обучающая последовательность им порожденная. Рассмотрим алгоритм построения последовательности оценок набора , минимизирующего функционал среднего риска. Решение задачи самообучения осложняется тем, что на практике функции не всегда заданы аналитически, но их значения доступны измерению (может быть с помехами ):


Через будем обозначать l-мерный вектор, составленный из величин ; через - l-мерный вектор помех. Также будем использовать прежние обозначения для характеристических функций, определяемых по измерениям с помехами [3].
^

Пробное возмущение и алгоритм оценивания


Для формирования последовательности оценок оптимального набора векторов воспользуемся рандомизированным алгоритмом стохастической аппроксимации [5], основанном на использовании наблюдаемой последовательности серии случайных независимых друг от друга векторов ,называемых в дальнейшем пробным одновременным возмущением и составленных из независимых бернуллиевских, равных ±1, случайных величин с взаимно независимыми компонентами.

Зафиксируем некоторый начальный набор и выберем последовательности положительных чисел, стремящиеся к нулю: и . Рассмотрим следующий алгоритм построения последовательности оценок





Здесь, в соответствии с принятыми ранее обозначениями, - l-мерный вектор, составленный из значений характеристических функций ; -l-мерные векторы, составленные из измеренных с помехами в соответствующих точках значений функций потерь; - соответствующие вектора из ошибок наблюдений; - проектор в множество .
^

Основные предположения и состоятельность оценок


Для упрощения формулировок основного результата, доказанного в [3], ограничимся случаем однотипных функций . Будем считать, что набор состоит из l векторов и функции и не зависят от других векторных элементов набора . Здесь - некоторая общая для разных классов штрафная функция. Векторы удобно интерпретировать как центры классов.

Сформулируем предположения, которым должна будет удовлетворять штрафная функция :

П.1. Функции - дифференцируемые при любом хX и их градиенты удовлетворяют условию Липшица, т.е.


с
некоторой постоянной М > 0, не зависящей от хX.

П.2. При любом функции и равномерно ограничены на X;

П.З. Каждая из функций





имеет единственный минимум в в некоторой точке и





с некоторой постоянной (условие сильной выпуклости).

О
бозначим

Теорема

Пусть выполнены условия:

1. (П.1,2,3) для функции

2. случайные вектора и _не зависят от хп, , а случайный вектор хп не зависит от ;

3.


4. и при .

Если обучающая последовательность состоит из независимых, одинаково распределенных векторных случайных величин с таким законом распределения, что они с ненулевой вероятностью принимают значения в каждом из l классов в пространстве признаков и из выполнения для некоторых k из и неравенства || dmax следует

(2) ||>


тогда последовательность оценок , доставляемых алгоритмом (1) при произвольном выборе , сходится к точке в среднеквадратичном смысле: при в том случае, когда

(3)

Если, более того, , то при с вероятностью единица.

Доказательство Теоремы приведено в статье [3].

Замечания: 1. Выполнение условия (3) в общем случае предварительно не проверить. Если для какой-то последовательности оценок условие (3) не выполняется, то это еще не означает невозможность получения состоятельных оценок с помощью алгоритма (1). Можно взять другие начальные данные и попробовать воспользоваться алгоритмом еще раз.

  1. Легко убедиться в том, что условия (П.1,2,3) выполняются для
    функции . В этом случае выполнение условия (2) означает, что расстояние между различными классами должно быть больше,
    чем максимальный среди всех классов радиус.

  2. В Теореме помехи наблюдения можно условно назвать почти
    произвольными
    , так как они могут быть неслучайными, но неизвестными
    и ограниченными, или представлять из себя реализацию некоторого стохастического процесса с произвольной структурой зависимостей.

  3. Из анализа доказательства видно, что в качестве пробного одновременного возмущения не обязательно брать бернуллиевские случайные
    величины. Достаточно потребовать для их распределения симметричности и конечности носителя. Другие соображения показывают, что при прочих равных условиях использование бернуллиевских случайных величин дает большую эффективность.

  4. Можно рассматривать подпоследовательности и , изменяющиеся отдельно для оценок соответствующего класса. Это оказывается удобным, особенно в том случае, когда представители разных классов появляются в обучающей последовательности неравномерно.

Пример


В качестве эксперимента была смоделирована упрощенная модель работы рандомизированного алгоритма стохастической аппроксимации (1) к решению задачи самообучения. Пусть известно, что в пространстве входов существует три класса изображений, которые с помощью набора признаков отображаются в соответствующие классы в пространстве признаков, содержащемся в . Решение задачи самообучения в этом случае сводится к разбиению пространства признаков на три подмножества, что эквивалентно нахождению трех центров этих множеств. В примере моделирования роль "настоящих" классов в пространстве признаков играли окружности с радиусом 1, центры которых были определены соответственно X1 = (1,3), X2 = (3,1), X3 = (3,3). В качестве штрафных функций были выбраны .

На Рис.6 показаны результаты компьютерного моделирования алгоритма (1) для решения задачи самообучения после наблюдений на интервале времени от 1 до 300. Полученные оценки центров обозначены окружностями среднего диаметра. Как можно видеть, смоделированные координаты центров классов не сильно отличаются от настоящих.




Рис.6: Моделирование SPSA алгоритма в двухмерном случае.




оставить комментарий
страница5/7
Дата22.09.2011
Размер0,5 Mb.
ТипДиплом, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы: 1   2   3   4   5   6   7
хорошо
  1
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

наверх