Учебное пособие томск 2010 удк 519. 2 icon

Учебное пособие томск 2010 удк 519. 2


Смотрите также:
Учебное пособие Томск-2002 ббк 65. 272 Удк 36. 4001...
Учебное пособие Томск 2000 удк 373: 930. 9...
Учебное пособие Томск 2001 удк 681. 325. 5...
Удк 681. 5;519. 16;519. 68...
Учебное пособие Ижевск 2008 удк 616 07: 519. 248 Ббк 53. 4...
Учебное пособие Нижний Новгород 2003 удк 69. 003. 121: 519. 6 Ббк 65. 9 (2) 32 5...
Учебное пособие Практикум Томск 2009 удк 316,6...
Конспект лекций москва 2004 удк 519. 713(075)+519. 76(075) ббк 22. 18я7...
Учебное пособие: лабораторный практикум Издательство Томского политехнического университета 2010...
Учебное пособие Москва 1998 удк 519. 95: 681. 142. 1...
Учебное пособие тверь 2008 удк 519. 876 (075. 8 + 338 (075. 8) Ббк 3817я731-1 + 450. 2я731-1...
Учебное пособие Издательство Томского политехнического университета Томск 2010...



Загрузка...
страницы:   1   2   3   4   5   6   7   8
скачать
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

РОССИЙСКОЙ ФЕДЕРАЦИИ


ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ (ТУСУР)


Ю.Е. Воскобойников

А.А. Мицель


современные проблемы прикладной математики

Часть 1. Лекционный курс


Учебное пособие


ТОМСК 2010


УДК 519.2

ББК 22.172

В 650

Воскобойников Ю. Е., Мицель А.А.

Современные проблемы прикладной математики. Часть 1. Лекционный курс: учебное пособие/ Ю. Е. Воскобойников, А.А. Мицель/ Томский гос. ун-т систем управления и радиоэлектроники (ТУСУР). – Томск, 2010. – 136 с.


В учебном пособии в первой части приводится системное изложение одного из разделов прикладной математики, связанного с устойчивыми методами и алгоритмами решения систем линейных алгебраических уравнений, возникающих при параметрической идентификации моделей. Основное внимание уделяется построению решений с минимальной ошибкой или с требуемыми точностными характеристиками, а также учету имеющейся априорной информации об искомом решении. Во второй части приводится описание лабораторных работ по созданию алгоритмов построения нормального псевдорешения и регуляризированных решений.

Учебное пособие предназначено для магистрантов направления «Прикладная математика и информатика». Результаты будут полезны также широкому кругу студентов, магистрантов, аспирантов, исследователей, занимающихся решением задач параметрической идентификации и обработки экспериментальных данных.



































ОГЛАВЛЕНИЕ


ВВЕДЕНИЕ ……………………………………………………….6


^ ГЛАВА 1. НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ

И ЗАДАЧИ ПАРАМЕТРИЧЕСКОЙ

ИДЕНТИФИКАЦИИ ………………………………………….... 8

§ 1.1. Корректно и некорректно поставленные задачи … 8

      1. Прямые и обратные задачи……………………...8

      2. Некорректно поставленные задачи…………. 9

      3. Корректность по Тихонову и множество

корректности……………………...…………….12

§ 1.2. Параметрические модели динамических систем … 13

1.2.1. Множественные регрессионные модели……13

1.2.2. Регрессионная модель временного ряда….…15

1.2.3. Модели динамических систем в простран-

стве состояний………….………….……..…..17


^ ГЛАВА 2. УСТОЙЧИВЫЕ ЛИНЕЙНЫЕ АЛГОРИТМЫ

ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ …………....... 19

§ 2.1. Вырожденные, несовместные, плохо

обусловленные СЛАУ и их сингулярный анализ …… 19

2.1.1. Вырожденные СЛАУ и нормальное решение…..19

2.1.2. Несовместные СЛАУ и псевдорешение…………20

2.1.3. Плохо обусловленные СЛАУ и число

обусловленности…………………………………22

2.1.4. Сингулярное разложение матрицы……….……..24

2.1.5. SVD-алгоритм построения нормального

псевдорешения……………………………………27

2.1.6. Построение нормального псевдорешения

в Mathcad………………………………………….31

§ 2.2. Оптимальные статистические регуляризирующие

алгоритмы решения СЛАУ ………….………………..36

2.2.1. Байесовский регуляризирующий алгоритм……..36

2.2.2. Минимаксный регуляризирующие алгоритм…...41


2.2.3. Оптимальный регуляризирующий

SVD-алгоритм……………………………………..43

§ 2.3. Статистические регулирующие алгоритмы решения

СЛАУ при неполной априорной информации ………51

2.3.1. Неполная информация и сглаживающий

функционал………………………………………..51

2.3.2. Гладкость решения и стабилизирующий

функционал………………………………………55

2.3.3. Регуляризирующий SVD-алгоритм………………60

2.3.4. Систематическая и случайная ошибки

решения ………………………………………..63

§ 2.4. Алгоритмы выбора параметра регуляризации ……. 66

2.4.1. Выбор параметра регуляризации на основе

критерия оптимальности……………………….67

2.4.2. Алгоритм выбора параметра по критерию

оптимальности ………………………………….69

2.4.3. Алгоритм выбора параметра по статистичес-

кому варианту принципа невязки…………..74

2.4.4. Выбор параметра методом перекрестной

значимости…………………………………….77

2.4.5. Сравнение различных алгоритмов выбора

параметра регуляризации…………………….80

§ 2.5. Точностные характеристики и синтез

регуляризирующих алгоритмов решения СЛАУ …….. .. 86

2.5.1. Вычисление числовых характеристик

ошибок регуляризированного решения….86

2.5.2. Построение доверительных интервалов

для решения ……………………………. 90

2.5.3. Точностные характеристики

регуляризирующих алгоритмов……………. 91

§ 2.6. Синтез регуляризирующих алгоритмов

по заданным точностным характеристикам …... 96

§ 2.7. Построение регуляризированных решений

СЛАУ в Mathcad ……………………………………….. 98

ГЛАВА 3.^ ЛОКАЛЬНЫЙ РЕГУЛЯРИЗИРУЮЩИЙ

АЛГОРИТМ ПАРАМЕТРИЧЕСКОЙ

ИДЕНТИФИКАЦИИ ………………………………………….. 103


§ 3.1. Локальный регуляризирующий алгоритм

с векторным параметром регуляризации ….…... 103

§ 3.2. Построение локального регуляризирующего

алгоритма ……………………………………….... 105

§ 3.3. Выбор параметра локального регуляризирующего

алгоритма ………………………………………... 110

§ 3.4. Результаты вычислительного эксперимента……… 111

ГЛАВА 4.^ ДЕСКРИПТИВНЫЕ РЕГУЛЯРИЗИРУЮЩИЕ

АЛГОРИТМЫ РЕШЕНИЯ СЛАУ……………………...…….. 114


§ 4.1. Глобальный дескриптивный регуляризирующий

алгоритм ……………. …………….………………… 115

§ 4.2. Локальный дескриптивный регуляризирующий

алгоритм ……………. …………….………………… 120

§ 4.3. Исследования дескриптивных регуляризирующих

алгоритмов ……………. …………….…………………… 124


ЗАКЛЮЧЕНИЕ ……………………………………………….. 127


^ БИБЛИОГРАФИЧЕСКИЙ СПИСОК……………………… 128


ВВЕДЕНИЕ

Многие задачи идентификации, дающие необходимую информацию при решении задач физики, экономики, проектирования и расчетов конструкций и сооружений и др. , сводятся к решению систем линейных алгебраических уравнений и с точки зрения причинно-следственной связи являются обратными задачами. Эта особенность делает большинство задач идентификации некорректно поставленными. При этом могут быть нарушены все три условия корректности по Адамару (но чаще всего, условия существования и устойчивости решения).

В последние три десятилетия предложены методы регуляризации решения некорректно поставленных задач. Однако в существенной части работ используются детерминированные методы введения априорной информации как о самом решении, так и о погрешностях исходных данных задачи. Необоснованно малое внимание уделяется выбору оптимальных значений параметров алгоритмов, что позволило бы получать решения с наименьшей ошибкой, а также построению алгоритмов с заданными точностными характеристиками. Отсутствуют эффективные алгоритмы, позволяющие учитывать имеющуюся априорную информацию об искомом решении (например, о диапазоне возможных значений коэффициента идентифицируемой модели). Отсутствие программного обеспечения, разработанного в среде универсального математического пакета (например, Mathcad) создает существенные затруднения у инженеров и экспериментаторов (не являющихся программистами) в использовании регуляризирующих алгоритмов на практике.

В данном учебном пособии рассмотрены регуляризирующие методы и алгоритмы, позволяющие строить устойчивые решения систем линейных алгебраических уравнений (СЛАУ), возникающих в задачах параметрической идентификации и позволяющие достаточно полно использовать имеющуюся априорную информацию об искомом решении. Изложение результатов ведется в ясной, доступной для инженеров форме и, по возможности, с опусканием громоздких математических доказательств и выводов. Большое внимание уделяется содержательной трактовке и графической интерпретации излагаемых методов и алгоритмов.

Вычислительной основой предлагаемых регуляризирующих алгоритмов является сингулярное разложение (singular value decomposition, SVD) матрицы решаемой СЛАУ. Использование сингулярного разложения (в дальнейшем именуемого SVD-раз­ло­жением) позволяет существенно уменьшить вычислительные затраты на построение регуляризированных решений, выбор параметра регуляризации, а также дает возможность достаточно просто проанализировать особенности (несовместность, вырожденность, плохую обусловленность) решаемой СЛАУ.

Для ряда алгоритмов приводится их программная реализация в виде разработанных в пакете Mathcad подпрограмм-функций с решением конкретных задач. Это позволит читателю либо использовать эти программные разработки для решения собственных задач, либо на основе этих программных модулей создать (с минимальными затратами времени) «свое» программное обеспечение.

Все это позволяет надеяться на востребованность изложенных в работе алгоритмов для решения практических задач параметрической идентификации.


Глава 1


^ НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ

И ЗАДАЧИ ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ


В этой главе рассмотрены задачи идентификации математических моделей различных систем. Сформулированы задачи вычислительной математики, к которой приводят задачи идентификации моделей. При рассмотрении задач идентификации большое вникание уделяется влиянию погрешности исходных данных на точность решения соответствующих задач.


§ 1.1. Корректно и некорректно поставленные задачи


В этом параграфе дается определение корректно поставленных математических задач и приводится пример некорректно поставленной задачи.


1.1.1. Прямые и обратные задачи

В математической физике принято деление задач на прямые и обратные в зависимости от их ориентации относительно причинно-следственной связи.

В прямых задачах необходимо по причине определить следствие, в обратных задачах, наоборот, – по следствию нужно восстановить причину.

Поясним это на примере системы линейных алгебраических уравнений (СЛАУ) вида:

(1.1.1)

или в матричном виде

, (1.1.2)


где – матрица размером (N строк и столбцов),
– вектор размерности (содержит проекций), – вектор размерности N.

Для этой системы уравнений прямая задача заключается в вычислении правой части по заданной матрице и вектору φ. Обратная задача – по заданным K, определить вектор φ, т.е. решить систему (1.1.2) относительно вектора решений φ. Из «житейского опыта» и курса линейной алгебры можно ожидать, что решение обратной задачи окажется более сложным, чем решение прямой задачи. Это действительно так.

Более компактной записью соотношений (1.1.1) является операторная (матричная) форма вида:

, (1.1.3)

которую в дальнейшем будем называть операторным уравнением. Оператор отображает элемент пространства в элемент пространства F. Для (1.1.1) оператор является матрицей, а Ф, – векторными пространствами , размерности и соответственно.


1.1.2. Некорректно поставленные задачи

Основная трудность решения обратных задач связана с нарушением требований корректности по Адамару. Французский математик Ж. Адамар в 1932 г. [84 определил задачу решения уравнения (1.1.3) корректно поставленной, если для каждой правой части решение φ:

  1. существует;

  2. единственно (однозначно определяется в пространстве Ф);

  3. устойчиво в пространстве Ф, т.е. непрерывно зависит от правой части f.

Если первые два условия понятны, то третье необходимо пояснить. Для этого воспользуемся нормами соответствующих пространств. Условие устойчивости предполагает, что для любого можно указать такое , что из неравенства

следует , (1.1.4)

где – решение уравнения (1.1.3), соответствующее правой части . Словами это означает, что малым ошибкам задания правой части соответствуют малые ошибки построенного решения.

Задачи, не удовлетворяющие всем перечисленным выше требованиям 1)–3) являются, по Адамару, некорректно поставленными. К таким задачам относится большинство обратных задач, в том числе и задачи идентификации.

В качестве такого примера рассмотрим решение плохо обусловленной СЛАУ. Дана система из двух уравнений

(1.1.5)

Очевидно, что решением системы является вектор , где – символ транспонирования. «Исказим» точную правую часть шумом , среднее значение проекций которого равно 0. Близость векторов , будем определять евклидовой нормой . Решение , найденное по вектору , существенно отличается от точного решения : . Такая большая ошибка решения обусловлена неустойчивостью проекции к шуму . Низкая устойчивость вектора решения к погрешностям исходных данных (в том числе к погрешностям задания элементов матрицы ) является отличительным признаком так называемых плохо обусловленных СЛАУ (подробнее см. п. 2.1.3).

Вопрос: можно ли повысить устойчивость решения плохо обусловленной СЛАУ?

Ответ: да, если имеется априорная информация об искомом решении . Например, в виде ограниченности нормы

. (1.1.6)

Очевидно, что должно быть выбрано таким, чтобы искомое решение удовлетворяло условию (1.1.6). Для нашего примера полагаем . Тогда приближенное решение , удовлетворяющее (1.1.6), имеет проекции и ошибку , что существенно меньше ошибки решения . Взяв , получаем решение с проекциями и ошибкой . Видно, что априорная достоверность в задании существенно сказывается на точности получаемых приближенных решений.

Подведем неожиданный итог: несмотря на предсказываемые сложности решения некорректных задач, удалось получить устойчивые (правда, приближенные) решения СЛАУ (1.1.5). Однако этого удалось достигнуть только благодаря «сужению» множества возможных решений на основе априорной информации об искомом решении. Сознательно или интуитивно введение априорной информации (в той или иной форме) в алгоритм решения позволило многим практикам получить разумные результаты, не подозревая о том, что они решают некорректно поставленную задачу. Достоверность используемой априорной информации (в нашем примере – предельное значение нормы ) существенно влияет на точность получаемых приближенных решений.


1.1.3. Корректность по Тихонову и множество корректности

Идея поиска решения на некотором множестве, являющемся «сужением» исходного пространства Ф, легло в основу определения корректности по Тихонову1.

Задача решения операторного уравнения (1.1.3) называется корректно поставленной по Тихонову, если выполнены следующие условия [44; 69; 70]:

  1. Априори известно, что решение задачи существует и принадлежит некоторому множеству пространства решений , т.е. .

  2. Решение единственно на множестве , т.е. для любой правой части существует единственный элемент . Множество состоит из элементов , где . В операторном виде множество можно определить соотношением .

  3. Если вариации правой части не выводят ее за пределы множества (следовательно, соответствующие принадлежат ), то существует непрерывная зависимость решения от правой части и обратный оператор существует и он непрерывен, а следовательно, и ограничен.

Множество , на образе которого оператор существует и непрерывен, называется множеством корректности.

Сравнивая условия корректности по Адамару и Тихонову, видим, что корректность по Тихонову может быть достигнута за счет сужения исходного пространства до множества корректности . Поэтому задачу корректную по Тихонову (которая, возможно, некорректна по Адамару) часто называют условно корректной задачей [46; 69].

Общие принципы построения множества корректности и выбора из него подходящего (по определенным критериям) решения рассматриваются в так называемых методах регуляризации некорректно поставленных задач [4; 44; 54; 56; 66; 67; 69; 71; 74; 75]. Эти методы используются в последующих главах для решения рассматриваемых задач идентификации.


§ 1.2. Параметрические модели динамических систем


В этом параграфе рассмотрены модели различных систем, в которых необходимо оценить несколько параметров. Такие модели называются параметрическими. Показывается, что задачи оценивания параметров сводятся к решению систем линейных алгебраических уравнений.


1.2.1. Множественные регрессионные модели

В эконометрическом моделировании в качестве модели выступает множественная регрессия, используемая в решении проблем спроса, доходности акций, при изучении функций издержек производства и целого ряда других вопросов эконометрики. Регрессионные модели возникают также при исследовании технологических процессов и идентификации динамических систем [39].

Часто в качестве регрессионной модели принимают линейную множественную регрессию вида:

, (1.2.1)

где – зависимая переменная, где – коэффициенты регрессионной модели, – случайное слагаемое, называемое возмущением. Обозначим -е наблюдение зависимой переменной как , а наблюдаемые значения объясняющих переменных – , т.е. в обозначении первый индекс определяет номер измерения, а второй – номер переменной. Тогда имеет место следующая модель наблюдений:

, . (1.2.2)

Запишем модель (1.2.2) в матричном виде. Для этого введем вектор (матрицу-столбец), состоящий из проекций, и матрицу размером , состоящую из строк и столбцов:

; ,

а также векторы:

– вектор параметров; – случайный вектор возмущений, где нижние индексы в обозначениях указывают размеры векторов и матриц. В дальнейшем матрицы обозначаются прописными буквами, а векторы – строчными.

Тогда в матричном виде модель наблюдений (1.2.2) примет вид

. (1.2.3)

Обычно относительно модели (1.2.3) делают следующие предположения (которые часто называют условия Гаусса – Маркова):

Р1. Матрица – неслучайная матрица, а – случайный вектор.

Р2. Математическое ожидание

, (1.2.4)

где – вектор, проекций которого равны нулю (т.е. нулевой вектор).

Р3. Матрица ковариации

, (1.2.5)

размера ; – единичная матрица размера . Напомним, что -й элемент ковариационной матрицы определяет дисперсию -й проекции вектора , а -й элемент равен корреляционному моменту . Если проекции и статистически независимы, то и матрица является диагональной.

Р4. Случайный вектор подчиняется -мерному нормальному распределению .

Р5. Ранг матрицы удовлетворяет условию

. (1.2.6)

Таким образом, построение оценок для коэффициентов регрессионной модели сводится к решению системы уравнений (1.2.3). При этом система (1.2.3) может быть несовместной (т.е. не иметь решения), иметь не единственное решение, а матрица может быть плохо обусловленной. Следовательно, задача оценивания вектора параметров будет являться некорректно поставленной.


1.2.2. Регрессионная модель временного ряда

Во многих технических и экономических явлениях наблюдаемый процесс может быть представлен моделью

, (1.2.7)

где – чаще всего время. Функция называется трендовой составляющей, и ее знание позволяет осуществлять долгосрочное прогнозирование поведения исследуемого процесса. Функция является случайной составляющей, называемой возмущением модели.

В качестве функции часто принимают полином -го порядка:

. (1.2.8)

Наблюдаемый процесс измеряется в дискретные моменты времени , , и тогда приходим к следующей модели измерений:

, , (1.2.9)

где , . Измерения (1.2.9) часто называют временным рядом.

Возникает задача выделения трендовой составляющей временного ряда, т.е. необходимо оценить коэффициенты по данным , . По аналогии с (1.2.2) введем в рассмотрение векторы:

; ;

и матрицу

. (1.2.10)


Тогда модель наблюдений (1.2.9) можно записать в матричном виде:

(1.2.11)

Таким образом, вновь оценивание коэффициентов функции тренда сводится к решению системы алгебраических уравнений (1.2.11). Следует заметить, что матрица Т с элементами (1.2.10) имеет плохую обусловленность (числа обусловленности могут достигать ~1010 и больших значений). Кроме этого возможны случаи, когда нарушается предположение Р3: ковариационная матрица перестанет быть диагональной в силу наличия статистической связи между проекциями и , .


1.2.3. Модели динамических систем

в пространстве состояний

Пространство состояний часто используется для описания поведения динамических систем [28; 50; 63]. Предположим, что состояние системы характеризуется -мерным вектором . Информация об этом векторе получается из косвенных измерений

, (1.2.12)

где – вектор строка с элементами , – погрешности -го измерения. Характерной особенностью модели (1.2.12) является то, что измерения выполняются последовательно. Очевидно, что, «накопив» n измерений, можно сформировать систему алгебраических уравнений

, (1.2.13)

где – матрица размером следующей структуры:

.

Тогда оценивание вектора состояния сводится к решению системы (1.2.13). Однако такой подход к оцениванию вектора состояния неудобен: при поступлении нового измерения необходимо формировать новую матрицу размером и решать новую систему уравнений. Поэтому следует использовать рекуррентные алгоритмы оценивания вектора (или, иначе, рекуррентные алгоритмы решения СЛАУ, матрица которых, как правило, плохо обусловлена). В таких алгоритмах при поступлении нового измерения приближенное решение, соответствующее -му измерению, корректируется в соответствии с новым измерением .

Если заданы априорное распределение случайного вектора и числовые характеристики помехи , то для оценивания вектора используются рекуррентные алгоритмы, получившие название фильтра Калмана [50; 63]. Если вектор не является случайным, то можно использовать рекуррентный регуляризирующий алгоритм, рассмотренный в работах [26; 28].
Таким образом, при оценивании вектора состояния вновь необходимо решать систему алгебраических уравнений вида (1.2.13), но с использованием рекуррентных алгоритмов. Как правило, получаемая при этом матрица имеет плохую обусловленность (большое число обусловленности), а сама система уравнений является несовместной. Эти обстоятельства делают задачу оценивания вектора состояния динамической системы некорректно поставленной.

Обобщая содержание этого параграфа, делаем вывод: идентификация параметров распространенных параметрических моделей связаны с решением систем алгебраических уравнений при нарушении условий корректности Адамара.

Подробно эти моменты обсуждаются в § 2.1 данной работы.






оставить комментарий
страница1/8
Дата23.10.2012
Размер1.08 Mb.
ТипУчебное пособие, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы:   1   2   3   4   5   6   7   8
Ваша оценка этого документа будет первой.
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

Рейтинг@Mail.ru
наверх