Обработка и передача изображений определение смены сцены и шумоподобности кадров видеопоследовательности icon

Обработка и передача изображений определение смены сцены и шумоподобности кадров видеопоследовательности


Смотрите также:
Обработка и передача изображений...
Анализ, обработка и передача динамических изображений в моделях виртуальной реальности...
Обработка и передача изображений...
Определение коэффициента теплопроводности воздуха...
А. К. Платонов Определение параметров проективного отображения в зрительном канале робота...
Обработка изображений в системах распознавания рукописного текста...
Лекция 1
Учебно-тематический план ит профиль 10 класс дата урока...
Рабочая программа по дисциплине «Компьютерная обработка изображений» По направлению...
Том числе компьютерного. Информационные процессы: хранение, передача и обработка информации...
Пространственно-временная ранговая обработка телевизионных изображений с малоразмерными...
Направления работы конференции...



Загрузка...
скачать

Обработка и передача изображений




Обработка и передача изображений


ОПРЕДЕЛЕНИЕ СМЕНЫ СЦЕНЫ И ШУМОПОДОБНОСТИ КАДРОВ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ

Слынько Ю.В.

ОАО «МАК «Вымпел»

1. Введение и постановка задачи

В данной работе рассматривается задача определения качества видеопоследовательности. Здесь под качественной последовательностью подразумевается такая последовательность, для которой возможна дальнейшая обработка. В качестве дальнейшей обработки рассматривались, прежде всего, алгоритмы стабилизации и сопровождения объектов [1], [2]. Если алгоритм стабилизации определяет параметры геометрических преобразований неправильно, то выходное изображение, «стабилизированное» в соответствии с такими неправильными параметрами, «скачет» больше, чем входное. Это недопустимо, поэтому следует отсеивать кадры, обработка которых не может быть выполнена достаточно качественно.

Суть проблемы в том, что алгоритм стабилизации оценивает параметры геометрических преобразований кадров путем нахождения минимума некоторой целевой функции. Таким образом, он не может работать при несоответствии входных изображений модели геометрических преобразований, принятых при разработке алгоритма, а также при слабой обусловленности задачи – когда целевая функция слабо зависит от параметров преобразований.




Рис. 1. Примеры кадров низкого качества. Слева вверху – отсутствие полезного сигнала, справа вверху – съемка с движущейся камеры с большим зумом, слева внизу – помехи в канале связи при отсутствии сигнала, справа внизу – помехи в канале связи на фоне полезного сигнала.
На практике такие ситуации возможны в следующих случаях (см. рис. 1):

  1. Смена сцены.

  2. Отсутствие полезного сигнала (при наличии или отсутствии шума).

  3. Высокий уровень помех.

  4. Некоторые другие – например, съемка с большим зумом при быстром перемещении камеры приводит к сильным «смазам» изображения и слишком большим смещениям.

Несмотря на изначальную нацеленность предложенного алгоритма на работу с алгоритмами стабилизации и сопровождения объектов, он может быть использован и для более общих задач – определения смены сцены, шумовых кадров и т.д.

В данной области была проделана большая работа разными коллективами. Особенно много исследований коснулось проблемы поиска смены сцены как, пожалуй, самой востребованной задачи из вышеназванных. Большинство алгоритмов легко свести к простой схеме – вычисление некоторых метрик с последующей их классификацией. В простейшем случае – сравнение с порогом. Особую популярность получили алгоритмы, использующие сжатые алгоритом MPEG-4 последовательности [9 - 12], где в качестве метрик взяты несколько первых коэффициентов разложения в ряд по косинусам. Для получения метрик могут быть также использованы пространственно-временные разложения [6] или разложения по вейвлетам [3]. Также существует ряд алгоритмов [5], которые используют очень сложные алгоритмы анализа сцены, включающие в себя сегментацию и сопровождение объектов, для нахождения смены сцены. В работах [4, 7, 8] они представлены на основе простых метрик, таких как разность последовательных кадров, скорость изменения этой яркости и анализ гистограмм. Работа [3] особенно интересна тем, что смена сцены в ней не просто детектируется, но выносится решение о «силе» изменения сцены.

^ 2. Выбранные метрики

В качестве метрик были выбраны следующие три величины:

  1. Sb - эффективная площадь минимума функции невязки.

  2. Cmin - значение невязки в минимуме.

  3. Hd - -критерий разности гистограмм.

Под функцией невязки двух кадров F1 и F2 подразумевается величина:

(1). Здесь M(dx, dy) – область перекрытия кадров для заданных сдвигов dx и dy, а S(M) – площадь этой области. Для ускорения алгоритма удобно вместо оригинальных входных кадров использовать кадры, сжатые в 32 – 64 раза.

Тогда эффективная область минимума будет выражена формулами:

, (2), где , ,

, , , B – порог, определяющий доверительную вероятность ошибки.

Sb является площадью области , а Cmin – значение невязки в минимуме.

Hd может быть вычислен стандартным образом (см., например, [13]).

^ 3. Классификация на основе метрик

Указанные выше метрики используются для классификации кадров видеопоследовательности на качественные и некачественные. Наиболее эффективным классификатором здесь является нейронная сеть.

В данной работе была использована четырехслойная нейронная сеть, обученная на представительной обучающей выборке. Она включала в себя 6 последовательностей достаточно хорошего качества, снятых в разных условиях (в комнате, на открытой местности, из движущейся машины, с БЛА, при наличии или отсутствии движения камеры и/или объектов в поле зрения) и 6 последовательностей, признанных «плохими» (см. рис. 1).

Важно, что выход нейронной сети является дробной величиной от -1 до 1. При этом величины больше 0 соответствуют «хорошим» кадрам, а меньше 0 – «плохим». Исходную дробную величину можно использовать для характеристики качества кадра в дальнейшей обработке (например, как параметр регуляризации при определении геометрических трансформаций).



Рис. 2. Кривые эффективности. Для сравнения представлены кривые эффективности, вычисленные для трехпараметрических поверхностей.

Для обучения нейронной сети был использован алгоритм обратного распространения. Также проверялись и более простые способы классификации – разделение областей «хороших» и «плохих» кадров в пространстве признаков трехпараметрическими поверхностями – плоскостью, эллипсоидом или параллепипедом.

Для достижения лучшего результата использовалась простейшая временная фильтрация по критерию из N по K. Т.е. кадр признавался плохим, если из N предыдущих кадров K оказывались плохими. Этот метод весьма эффективен во всех случаях, кроме смены сцены. А, как показало исследование, детектирование смены сцены является наиболее простой задачей из решаемых.

^ 4. Результаты и выводы

Основным критерием качества работы представленных алгоритмов является их кривая эффективности – т.е. зависимость количества кадров, ложно детектированных как плохие, от количества недетектированных плохих кадров. Графики этих кривых приведены на рис. 2. На них представлены результаты для наиболее трудных случаев, когда задача неформализуема и не может быть в точности решена даже оператором (например, сильный шум на фоне полезного сигнала).

В таблице 1 приведены сводные результаты работы алгоритмов, касающиеся отдельных подзадач общей задачи определения плохих видеопоследовательностей.

Таблица 1.

Скорость работы (кадров в сек.) Pentium M 1700МГц

160

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования смены сцены

0.2% / <0.01%

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования шумовых кадров при отсутствии полезного сигнала

<0.01% / <0.01%

Вероятность пропуска / вероятность ложного детектирования для задачи детектирования шумовых кадров в присутствии полезного сигнала

<0.01% / 0.01%

Таким образом, решена задача оценивания качества входной видео последовательности и детектирование таких событий, как смена сцены, шумоподобность кадра, высокий уровень шумов на фоне полезного сигнала и др.

Литература

  1. Ю.В. Слынько, В.Н. Лагуткин, А.П. Лукьянов. Разработка и исследование робастных алгоритмов реального времени оценивания параметров геометрических преобразований кадров видеопоследовательностей. Радиотехника и электроника, 2007, том 52, №3, с. 351-357.

  2. Ю.В. Слынько, А.П. Лукьянов, В.Н. Лагуткин. Гибридный подход к решению задачи оценивания геометрических искажений кадров видеопоследовательностей. Доклады конф. Цифровая обработка сигналов и ее применение, Вып. VIII – 2, С. 437. М.: РНТОРЭС им. А.С. Попова, 2006.

  3. Korpi-Anttila, J. Automatic Colour Enhancement and Scene Change Detection of Digital Video. Graphic Arts in Finland 32(2003)1.

  4. Ralph M. Ford, Craig Robson, Daniel Temple, and Michael Gerlach. Metrics for Scene Change Detection in Digital Video Sequences. ICMCS '97, IEEE.

  5. Shu-Ching Chen, Mei-Ling Shyu, Cheng-Cui Zhang, R. L. Kashyap. Video scene change detection method using unsupervised segmentation and object tracking. IEEE International Conference on Multimedia and Expo (ICME), pp. 57-60, August 22-25, 2001, Waseda University, Tokyo, Japan.

  6. Chong-Wah Ngo, Ting-Chuen Pong, Hong-Jiang Zhangz & Roland T. Chin. Motion-based Video Representation for Scene Change Detection. International Journal of Computer Vision. Volume 50, Issue 2 (November 2002).

  7. Jong Wan Jang and Il Kyun Oh. Performance Evaluation of Scene Change Detection Algorithms. APCC/OECC '99. Vol.2.

  8. Xiaoquan Yi and Nam Ling. Fast Pixel-Based Video Scene Change Detection. ISCAS 2005. Vol. 4.

  9. Georgios Akrivas, Nikolaos. D. Doulamis, Anastasios. D. Doulamis and Stefanos. D. Kollias. Scene Detection Methods for MPEG – Encoded Video Signals. MELECON 2000. Vol. 2.

  10. Serkan Kiranyaz, Kerem Caglar, Bogdan Cramariuc and Moncef Gabbouj. Unsupervised Scene Change Detection Techniques In Feature Domain Via Clustering And Elimination. IWDC 2002, Capri, Italy.

  11. Edmundo Saez, Jose I. Benavides, Nicolas Guil. Reliable real time scene change detection in MPEG compressed video. ICME '04. Vol. 1.

  12. H.B. Lu, Y.J. Zhang, Y.R. Yao. Robust Gradual Scene Change Detection. ICIP 99. Vol. 3.

  13. Смирнов Н.В. Теория вероятностей и математическая статистика. Избранные труды. М. Наука 1970г.


^ DETECTION OF SCENE CHANGING AND NOISE-TYPE FRAME OF VIDEO SEQUENCE

Slynko Y.

OAO “MAK “Vympel”

In the report the problem of video sequence quality estimation is considered. Sequence is treated as high quality if further processing is possible for it. Algorithms of stabilization and objects’ tracking are mostly considered as the further processing. If algorithm of stabilization estimates parameters of geometric transformation incorrectly the output video, “stabilized” with such wrong parameters, “jumps” more that input one. It cannot be allowed – so one need to sieve frames which processing cannot be done with high enough quality.

Along with the main task proposed algorithm able to solve the following particular subtasks:

  1. Scene changing detection.

  2. Noise-type frames detection.

  3. Detection of frames with high noise and low signal.

As a classification algorithm neuron net based on three metrics is used. The following metrics is used:

  1. Effective area of minimum of discrepancy function.

  2. Value of discrepancy function in minimum.

  3. -criterion of histogram difference.

Proposed algorithms are tested on a large variety of natural and synthetic videos with various shot (modeling) conditions. Effectiveness curves of proposed algorithm are counted for different subtasks with an aim to choose the threshold according with Neumann-Pirson criterion.

Proposed algorithms shown high effectiveness – error percent is lower 0.01%. The speed of the algorithm if high too – more than 160 frames per second on contemporary PC.




^ Вычисление статистической избыточности динамических цифровых полутоновых изображений

Петров Е.П., Медведева Е.В.

Вятский государственный университет

Сжатие динамических изображений, также как и статических, достигается с помощью удаления статистической и визуальной избыточности. Но в отличие статических изображений видеокодер состоит не только из пространственной модели и энтропийного кодера, но и временной модели. Временная модель сокращает статистическую избыточность, используя схожесть между последовательными видеокадрами [1].

В данной работе предлагается метод вычисления статистической избыточности содержащейся в динамических ЦПИ, представленных -разрядными двоичными числами, позволяющий вычислить статистическую избыточность ЦПИ до и после сжатия их любым из известных способов.

Чтобы получить количественные оценки статистической избыточности динамических ЦПИ, необходимо построить их математические модели (ММ), адекватные реальным ЦПИ. Основные требования, предъявляемые к ММ - это точное соответствие модели реальным ЦПИ и математическое описание, позволяющее создавать устройства генерации и обработки изображений с минимальными ресурсами. Учитывая статистические характеристики ЦПИ компромиссным решением при разработке динамических ЦПИ является использование многомерных марковских процессов с дискретными аргументами [2]. Предполагается разбить видеопоследовательность ЦПИ на последовательностей разрядных двоичных изображений (РДИ). Представление ЦПИ набором из РДИ, позволяет свести построение ММ ЦПИ к построению более простой ММ РДИ.

Статистическую избыточность элементов динамических РДИ представляющих собой последовательность РДИ можно найти, если воспользоваться ММ полученной в [2] на основе представления последовательности РДИ двоичным трехмерным марковским процессом [2].







Рис. 1. Фрагмент пространственно-временной модели

На рис.1 приведен фрагмент пространственно-временной модели последовательности РДИ, принадлежащей областям и в -м и -м кадрах с окрестностью элемента вида , (1), где приняты обозначения :



Количество взаимной информации между элементами окрестности (1) и элементом при одинаковой корреляции элементов по горизонтали, вертикали и кадрам (рис. 1, область ), может быть определено по матрице









,



















(2)

где элементы матрицы удовлетворяют условию нормировки ; ; .

Элементы матрицы можно определить как

;

;

(3)

;

;

;

;

(4)

;

;

;

;

(5)

;

,

(6)

где - элементы матриц вероятностей переходов - по горизонтали; - по вертикали; - по кадрам;

. (7)

В общем случае матрицы , и априорно известны и определяют корреляционные связи между двоичными элементами -го РДИ по горизонтали, вертикали и времени (кадрам) в последовательности РДИ.

Пусть ===0,9, тогда количество взаимной информации между элементом и элементами , , равно

дв.ед. (8)

Например, для ==0,5 и =0,9 энтропия равна:

дв.ед. (9)

Из сравнения (8) и (9) следует, что относительная статистическая избыточность равна

== 0,999 (10)

Если элементы в последовательности РДИ независимы, то , дв.ед., а относительная статистическая избыточность отсутствует, т.е. =0.

Статистическая избыточность элементов -разрядного ЦПИ складывается из статистической избыточности, содержащейся в элементах каждого из РДИ . (11)

Степень сжатия ЦПИ определяется выражением: . (12)



На рис. 2. приведена зависимость усредненной статистической избыточности в одном элементе каждого из РДИ, построенной на основе большой совокупности динамических реальных восьмиразрядных ЦПИ ().Из графика (рис. 2) следует: 1) наибольшей статистической избыточностью обладают элементы РДИ старших разрядов и наименьшей – младшие; 2) средний коэффициент сжатия 8-разрядного ЦПИ равен 5.

Рис. 2. Зависимость усредненной статистической избыточности от номера разряда ЦПИ

Таким образом, в данной работе:

1) предложен способ вычисления статистической избыточности содержащейся в динамических ЦПИ;

2) приведен пример расчета статистической избыточности большой совокупности динамических реальных восьмиразрядных ЦПИ. На основании графика (рис. 2) может быть определен предельный коэффициент сжатия динамических ЦПИ, который может быть получен алгоритмами сжатия без потери качества.

Литература

  1. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 – стандарты нового поколения. – М.: Техносфера, 2005. – 368 с.

  2. Петров Е. П. Математические модели видеопоследовательностей цифровых полутоновых изображений на основе дискретнозначных марковских процессов // Е. П. Петров, И. С. Трубин. - Успехи современной радиоэлектроники, №6, 2007. – с.3-31.




^ CALCULATION OF STATISTICAL REDUNDANCY OF DYNAMIC DIGITAL half-toned IMAGES

Petrov E., Medvedeva E.

Vyatka State Uiversity, Kirov.

Method of calculation of statistical redundancy in the dynamic digital half-toned images (DII) is offered in the gven work. The method allows to calculate statistical redundancy of DII before and after their compression in one of existing ways.



In a figure 1 the fragment of space - time model of a sequence DBI which appertains to areas and in k and (k-1) fragments, in which the neighbour elements of the element are situated in the following way: . (1)

The amount of the mutual information between elements of the region (1) and element if the correlation of horizontal, vertical elements and correlation of fragments is identical, can be determined under the matrix.

Fig. 1. The fragment of space - time model




The videosequence of DII is devided into g digit binary images (DBI). The statistical redundancy of dynamic elements DII can be found using mathematical model (MM). This MM is based on replacing a DBI sequence by a binary three-dimensional process of Markov.

Requirements to MM are:

  • the model must match the real DII;

  • mathematical description allowing to create devices for generation and adaptation of the images using minimal resources.

,

;

; (2)

;

;

;

; (3)

;

;

;

; (4)

;

. (5)

Where the elements of matrix guarantee the executing of a condition of normalization ; ; , which can be determined under the formulas (2) - (5), where - elements of matrixes of probabilities of transactions – on a horizontal; - on a vertical; - on the fragments.

The statistical redundancy of elements of g-digit DII consist of statistical redundancy where the elements of each of DII include .

The offered method allows to calculate statistical redundancy in dynamic DII.




^ ОЦЕНКА ТОЧНОСТИ УСТАНОВЛЕНИЯ СООТВЕТСТВИЯ1

Гришин В.А.

Институт космических исследований Российской академии наук (ИКИ РАН)

Задача оценивания точности установления соответствия является актуальной уже не один десяток лет. Можно назвать, по крайней мере, три области приложения подобных оценок. Во-первых, это корреляционно-экстремальные системы навигации по естественным геофизическим полям, а также системы наведения по изображениям целей. Во-вторых, это задачи обработки космических и аэрофотоснимков (фотограмметрия, картография, мониторинг изменений поверхности Земли). В-третьих, это задачи технического зрения, куда входят задачи трехмерной реконструкции визируемой поверхности, а также задачи определения параметров движения летательных аппаратов относительно визируемой поверхности. В докладе рассматривается оценка точности установления соответствия, необходимая для построения модели ошибок измерений системы технического зрения. Такие модели используются для комплексирования измерительных систем различной природы.

Задача оценивания точности установления соответствия является достаточно сложной и производится, как правило, при использовании ряда упрощающих предположений. Чаще всего в качестве моделей изображений и шума используются нормальные случайные поля [1-5]. Такое допущение является достаточно спорным в связи с тем, что статистика изображений очень вариабельна и даже в пределах одного кадра может сильно меняться по его площади. Особенно это относится к опорным точкам, которые используются в системах технического зрения для определения параметров относительного движения. Возможности практического использования таких оценок для реальных изображений очень ограничены, особенно в режиме реального времени.

Другим подходом является использование матрицы Гессе яркости фрагмента изображения для аппроксимации корреляционной матрицы ошибок установления соответствия [6-8]. Однако, вычисление матрицы Гессе выполняется поточечно и требует заметных вычислительных ресурсов. В этом случае неявно предполагается, что возмущения, действующие на процесс установления соответствия, изотропны (т.е. не зависят от направления) и некоррелированы по обеим координатам. Сама же оценка определяется с точностью до постоянного множителя, как это явно указано в [6]. Здесь необходимо сделать два замечания. Во-первых, ниоткуда не следует, что возмущения, действующие на процесс установления соответствия, являются изотропными. Например, возмущения, обусловленные перспективными искажениями, будут заведомо не изотропными. Во-вторых, представляется более целесообразным оценивать точность привязки исходя не из матрицы Гессе изображения, а исходя из анализа критериальной функции соответствия изображений. Действительно, точность локализации экстремума все-таки определяется локальной структурой использованной критериальной функцией соответствия, а не производными яркости изображения.

Рассмотрим задачу оценивания точности установления соответствия точек на стереопарах либо на последовательности изображений с учетом характеристик реального изображения. Необходимую информацию можно извлекать из локальной структуры критериальной функции соответствия окрестностей точки, которая получается при поиске соответствия. Пусть соответствие ищется в двумерной области. Этот случай характерен для обработки последовательности кадров, снятых одной камерой, либо стереопар, снятых не калиброванными камерами (когда нельзя использовать эпиполярные ограничения и осуществлять поиск вдоль этих ограничений – т.е. поиск по одномерной области).

В этих случаях, как правило, первоначальный поиск осуществляется по равномерной сетке, часто с шагом, равным шагу пикселей. Рассмотрим случай, когда для получения субпиксельного разрешения используется локальная аппроксимация критериальной функции соответствия полиномом второго порядка по 9 точкам (окрестность 33). Поместим начало локальной системы координат в точку, соответствующую экстремальному значению критериальной функции. Шаг сетки считаем равным 1 – рис. 1.




Рис. 1. Локальная система координат по дискретной сетке


Приблизим в смысле минимума среднего квадрата ошибок критериальную функцию соответствия квадратичным полиномом. Квадратичный полином имеет вид: .

Обозначим через значения критериальной функции в точках 0, 1, 2 … 8 соответственно. Координаты экстремума выражаются через коэффициенты построенного аппроксимирующего полинома. До этого момента никаких дополнительных операций для получения оценок точности установления соответствия не делалось. Теперь сделаем предположение, что те причины, которые приводят к появлению ошибок установления соответствия, приводят также и к локальному отклонению отсчетов функции соответствия от квадратичной функции. Оценив эти отклонения, мы получим косвенную оценку указанных возмущений.

Записав уравнения, определяющие положение экстремума при малых возмущениях по координатам и соответственно после несложных выкладок можно получить выражение для корреляционной матрицы ошибок определения экстремума: . Здесь матрица - матрица производных второго порядка от аппроксимирующего полинома в точке экстремума: .

Матрица - корреляционная матрица производных малых возмущений по координатам и : и . Оценить матрицу мы не можем хотя бы по той причине, что при неизвестных спектральных характеристиках изображений мы не можем оценить фильтрующие свойства аппроксимации критериальной функции полином. Однако, некоторую информацию о структуре этой матрицы можно получить, оценивая возмущения критериальной функции относительно аппроксимирующего полинома: . Здесь - значения аппроксимирующего полинома во всех 9 точках окрестности. Эту информацию несет корреляционная матрица :

Шаблоны для вычисления матрицы приведены на рис. 2.

Таким образом, можно предположить, что структура возмущений аппроксимирующего полинома относительно невозмущенной критериальной функции приблизительно соответствует структуре возмущений отсчетов критериальной функции относительно аппроксимирующего полинома с некоторым коэффициентом :



Рис. 2. Шаблоны для вычисления матрицы .

Ошибка установления соответствия оценивается эллипсоидом рассеивания [9], который в двухмерном случае оказывается эллипсом рассеяния: . Параметр зависит от заданной вероятности попадания в эллипс рассеивания вектора ошибки установления соответствия. Коэффициент , также как и в случае вычисления матрицы Гессе, может обновляться итерационно. Для этого целесообразно использовать функцию невязок процесса оценивания параметров движения в реальном времени.

Для проверки полученных соотношений была использована методика, изложенная в [10, 11]. Моделировалось движение камеры параллельно визируемой поверхности. Угол разворота камеры по отношению к вектору скорости был выбран равным 47.5, 67.5 и 87.5. Соответственно, величина проективных искажений была наибольшей для угла 47.5 и наименьшей для угла 87.5 (оптическая ось камеры почти ортогональна визируемой поверхности). Затем были выбраны два изображения с существенно различающимися корреляционными свойствами. На изображениях размером 640480 пикселей выбиралось 9945 окрестностей размером 99 пикселей. Эти окрестности подвергались проективным искажениям и запускался процесс установления соответствия по окрестности 1717 пикселей. После поиска смещения, соответствующего экстремальному значению критериальной функции соответствия, производилась квадратичная аппроксимация функции соответствия и оценка положения экстремума с субпиксельным разрешением. Если ошибка превышала 0.5 пикселя, то такие точки исключались из дальнейшего анализа как имеющие аномальные ошибки установления соответствия.

Таблица

Вероятность

Угол разворота оси камеры относительно вектора скорости


Изображение

47.5

67.5

87.5

0.9

2.76

1.48

0.63



0.95

3.85

1.99

0.84

0.975

5.76

2.78

1.15

0.99

9.81

4.44

1.67

0.9

5.72

3.36

1.53



0.95

8.01

4.65

1.99

0.975

11.3

6.51

2.70

0.99

18.9

10.7

4.21

Точки, для которых матрица вторых производных не была положительно определенной или квадратичная форма принимала значения, меньше или равные нулю, отбрасывались как потенциально ненадежные. Далее оценивались параметры эллипсоида разброса, и определялся коэффициент . Значение этого коэффициента определялись для следующего набора вероятностей попадания ошибки установления в эллипсоид рассеяния: 0.9, 0.95, 0.975, 0.99.

Как следует из таблицы, величина коэффициента меняется в зависимости от характера изображения в 2-2,5 раза и в зависимости от ракурса визирования поверхности в 4-5 раз. Как уже указывалось, величина этого коэффициента может адаптивно подстраиваться исходя из величины невязок направлений визирования особенностей на последовательности кадров с помощью специальной петли регулирования.

Таким образом, полученный алгоритм оценки точности установления соответствия имеет незначительную вычислительную сложность и может быть реализован на борту летательного аппарата в реальном времени. Алгоритм позволяет исключать из анализа точки, матрица вторых производных аппроксимации критериальной функции которых не является положительно определенной, а также точки, для которых нарушается условие как потенциально ненадежные. Кроме того, он позволяет оперативно исключать из анализа точки, для которых величина невязки значительно выйдет из эллипса рассеивания, как аномальные измерения. Это позволяет существенно снизить вычислительные затраты, необходимые при переборном исключении точек, что характерно для семейства алгоритмов RANSAC.

Оценка точности установления соответствия предназначена для построения модели ошибок системы технического зрения, что необходимо для комплексирования системы технического зрения с другими приборами управления полетом. Алгоритм пригоден для широкого круга функций соответствия, которые в окрестности экстремума могут быть аппроксимированы полиномом второй степени.

Литература

  1. Антипин В.В., Буймов А.Г. Статистический анализ ошибок совмещения изображений по методу наименьших квадратов в условиях окрашенного шума // Автометрия. – 1985. – №3. – С. 27-31.

  2. Буймов А.Г. Анализ влияния корреляционных свойств неоднородного яркостного шума на ковариационную матрицу ошибок совмещения изображений // Автометрия. – 1985. – №4. – С. 9-15.

  3. Егоров И.В., Юхно П.М. Влияние однородного коррелированного яркостного шума на ошибки совмещения изображений // Автометрия. – 1988. – №1. – С. 105-107.

  4. Тарасенко В.П., Тимофеев А.В. Доверительное оценивание точности совмещения изображений в корреляционно-экстремальных системах // Автометрия. – 1990. – №4. – С. 106-111.

  5. Степанов О.А. Предельно достижимая точность совмещения гауссовых изображений // Автометрия. – 1990. – №5. – С. 16-23.

  6. Sun Z., Ramesh V., Tekalp A. M. Error characterization of the factorization method // Computer Vision and Image Understanding. – 2001. – Vol. 82. Issue 2. – P. 110–137.

  7. Chowdhury A.R. Chellappa R. Stochastic approximation and rate-distortion analysis for robust structure and motion estimation // International Journal of Computer Vision. – 2003. – Vol. 55. – №1. – P. 27–53.

  8. Chowdhury A.R., Chellappa R. Statistical Error Propagation in 3D Modeling from Monocular Video // Proc. IEEE 2003 Conference on Computer Vision and Pattern Recognition. Workshop on Statistical Analysis in Computer Vision. – 2003. http://www.cse.lehigh.edu/~rjm2/SACV/papers/chowdhury-chellappa.pdf.

  9. Огарков М.А. Методы статистического оценивания параметров случайных процессов. – М.: Энергоатомиздат, 1990, – 208 с.

  10. Гришин В.А. Оценка локальных трансформаций последовательности изображений, используемых для 3D реконструкции // Сб. научн. тр. Нелинейные явления в открытых системах. Вып. 14. – М.: Гос. ИФТП, 2003. – С. 80-91.

  11. Гришин В.А. Оценка статистических характеристик изображений местности с точки зрения их пригодности для 3D реконструкции // Сб. научн. тр. Искусственный интеллект в технических системах. Вып. 24. – М.: Гос. ИФТП, 2004. – С. 63-74.




^ ESTIMATION OF CORRESPONDENCE ERRORS2

Grishin V.

Space Research Institute (IKI), Russian Academy of Sciences

Such important characteristic of computer vision system as a precision depends on correspondence errors. Correspondence is a process of relation establishing between images of the same observed surface point on the sequence of cadres or on the stereo pairs. There are two approaches to the problem of correspondence errors estimation. First one assumes availability of precision statistical models for two-dimensional stochastic fields which represent images and noise. In practice such approach is useless for on-board computer vision system which operates in real time. The point is that images are very variable, its statistic is very unstable and the choice of correct image statistical model is independent highly complicated task. Second approach [1-3] is based on Hessian matrix calculation for neighborhood of point for which the correspondence should be established. The assumption about disturbances isotropy is implicitly used. Such disturbances are caused by noise and projective distortions. In the last case disturbances are certainly not isotropy. Second approach is suitable for real-time application of machine vision. The lack of this approach is the assumption about disturbances isotropy and necessity of calculation second order derivatives for every pixel of neighborhood of point for which the correspondence should be established.

The approach which is presented in this report takes into account anisotropy of disturbances and has lesser computational complexity. Sub-pixel accuracy correspondence is considered. Correspondence is determines as extremum of matching cost function. The local neighborhood of extremum is analyzed. This neighborhood is presented as the set of discrete references. These references are obtained by consecutive calculation of matching cost function with different shift on two coordinates. As a rule minimal shift on any coordinate is equal to one pixel. The set of references is approximated by polynomial of second order from two variables. Least squares method used for approximation. Two matrixes are used for the correspondence error estimation. First matrix is the covariance matrix of approximation error function derivatives. This function is defined on discrete set of points. The matrix contains information about disturbances structure. Second matrix consists of second order derivatives of approximating polynomial in extremum point.

Correspondence error is estimated by ellipse of uncertainty: . Parameter depends on the prescribed probability event that correspondence error will be inside the ellipse. Matrix is defined as: . Coefficient as well in the case of Hessian matrix calculation can be iteratively renewal. It is expediently to use residual function of real-time motion parameters estimation for renewal process.

Experiments show that coefficient has change in multiple from 2 to 2.5 depending on the kind of observed surface image and has change in multiple from 4 to 5 depending on observed surface perspective.

References

  1. Sun Z., Ramesh V., Tekalp A. M. Error characterization of the factorization method // Computer Vision and Image Understanding. – 2001. – Vol. 82. Issue 2. – P. 110–137.

  2. Chowdhury A. R. Chellappa R. Stochastic approximation and rate-distortion analysis for robust structure and motion estimation // International Journal of Computer Vision. – 2003. – Vol. 55. – №1. – P. 27–53.

  3. Chowdhury A.R., Chellappa R. Statistical Error Propagation in 3D Modeling from Monocular Video // Proc. IEEE 2003 Conference on Computer Vision and Pattern Recognition. Workshop on Statistical Analysis in Computer Vision. – 2003. http://www.cse.lehigh.edu/~rjm2/SACV/papers/chowdhury-chellappa.pdf.




^ РЕШЕНИЕ ПРОБЛЕМЫ РАСПОЗНАВАНИЯ И ОЦЕНКИ ПАРАМЕТРОВ 3D ИЗОБРАЖЕНИЙ ПРИ НЕИЗВЕСТНОЙ НУМЕРАЦИИ ОТСЧЕТОВ ИХ КОНТУРОВ

Роженцов А.А, Баев А.А, Мазанов Е.И.

Марийский государственный технический университет

Сложившиеся к настоящему времени подходы к решению задач обработки изображений плоских и пространственных объектов, базирующиеся на методологии контурного анализа, обладают высокой эффективностью в условиях, когда известна нумерация векторов, образующих контур данного изображения. В этом случае возможно формирование меры схожести плоских или пространственных изображений на основе согласованной фильтрации их контуров. В случае плоских изображений это также позволяет получать и оценки параметров линейных преобразований. Данный подход приемлем как в отношении сплошных изображений, так и в отношении групповых точечных объектов, однако его применение требует знания нумерации векторов контура или отметок в составе группового точечного объекта, поскольку в противном случае формирование импульсной характеристики фильтра, согласованного с контурным описанием данного объекта, невозможно.

В работе предлагаются новые подходы к формированию вторичных описаний контуров пространственных изображений и изображений групповых точечных объектов, не зависящих от порядка нумерации отсчетов кватернионных сигналов и обеспечивающих формирование мер схожести, инвариантных к линейным преобразованиям объектов. Эти подходы базируются на теории функции гиперкомплексного переменного и сводятся к получению отображений контуров обрабатываемых объектов в простые геометрические фигуры. Показывается, что коэффициенты функций, задающих преобразования, могут служить информативными признаками при распознавании и оценке параметров линейных преобразований обрабатываемых изображений.

  1. ^ Задача проецирования изображения пространственного объекта на шар

Расположенные в пространстве поверхности, задающие контуры пространственных объектов могут рассматриваться как функции от векторов, проведенных из начала координат в направлении точек расположения касательных к этим поверхностям. Модули таких векторов могут задаваться одинаковыми и их совокупность образует в пространстве шар. Функция, описывающая отображение поверхности на шар, зависит от формы поверхности и будет уникальной для каждой поверхности, форма которой отличается от других поверхностей.

Для представления заданных в пространстве объектов могут использоваться методы кватернионного анализа. В этом случае векторы, проведенные в пространстве к точкам, задающим поверхность объекта, описываются векторными кватернионами, а их набор, представляет собой кватернионный сигнал.

Использование аппарата кватернионного анализа позволяет рассматривать поверхность, заданную в пространстве, как функцию кватернионного переменного. Описание правила отображения поверхности на шар в этом случае может задаваться некоторым преобразованием функции гиперкомплексного переменного.

Наиболее простым и, в тоже время, достаточно универсальным является использование преобразования на базе полиномиальной функции гиперкомплексного переменного: . (1.1).

Здесь   коэффициенты полинома, также являющиеся кватернионами, задающие отображение пространственной фигуры на поверхность шара,   кватернионы, соединяющие точки поверхности объекта с началом координат,   кватернионы, проведенные из начала координат в направлении точек поверхности объекта с единичными модулями, задающими поверхность шара. Коэффициенты полинома могут быть найдены с помощью метода наименьших квадратов из системы линейных кватернионных уравнений.

На рис. 1 изображен пример отсчетов фигуры в виде конуса и их отображения на сфере.





а)

б)

Рис.1 Пример отображения пространственной фигуры на шар: а) взаимное положение фигуры и шара, б) расположение единичных векторов на поверхности шара

^ 2. Исследование влияния линейных преобразований на вид отображающей функции

При обработке изображений параметры линейных преобразований объектов могут быть неизвестны. В этом случае возникает задача обеспечения инвариантности алгоритмов обработки к изменению этих параметров, а в ряде случаев, и их оценки. Рассмотрим, как влияют преобразования поворота, масштабирования и переноса на вид коэффициентов отображающей функции .

Обработка изображений с неизвестным масштабом. При изменении масштаба изображения каждый отсчет умножается на некоторый масштабный множитель , т.е. .

В этом случае выражение (1.1) примет следующий вид:

Поскольку коэффициент является действительным числом, то умножение кватернионов на этот коэффициент является коммутативным. В этом случае можно показать, что .

Таким образом, на основе анализа коэффициентов отображающей функции можно получить оценки масштаба изображения.

Обработка изображений с неизвестным углом поворота. При вращении объекта каждый его вектор поворачивается на некоторый угол вокруг общей для всех векторов оси вращения. Аналитически вращения векторов с использованием алгебры кватернионов описываются в виде [1]: , где   вращающий кватернион.

При возведении повернутого кватерниона в некоторую степень поворот кватерниона приводит к аналогичному повороту и кватерниона, полученного его возведением в -ю степень. Поскольку отображение поверхности производится на сферу, то при вращении объекта будет происходить такой же поворот векторов, проведенных к поверхности сферы. Поэтому выражение (1.1) для случая повернутого изображения запишется в виде: . На основе данного выражения можно показать, что .

Таким образом, вращение кватернионов, задающих пространственный объект, приводит к умножению коэффициентов отображающей функции на соответствующие вращающие кватернионы в обратном порядке.

Это позволяет оценивать параметры вращения объекта даже при неизвестной нумерации отметок в его составе в соответствии с методикой изложенной в [2].

^ 3. Распознавание пространственных изображений групповых точечных объектов

На основе полученных аналитических описаний были синтезированы алгоритмы распознавания, базирующиеся на вычислении скалярного произведения между коэффициентами отображающих функций эталонного и распознаваемого объектов:

В качестве критерия принятия решения в пользу одного из классов выбран критерий минимальной величины модуля векторной компоненты скалярного произведения. Полученные результаты свидетельствуют о высокой эффективности предложенных алгоритмов обработки.

Выводы

В работе решена задача получения отображений контуров пространственных изображений групповых точечных объектов на шар на основе полиномиальной функции с учетом не коммутативности операции умножения кватернионов. Определено влияние параметров линейных преобразований на коэффициенты отображающих функций. Синтезированы алгоритмы оценки параметров линейных преобразований пространственных изображений. Решена задача распознавания пространственных изображений на основе анализа коэффициентов отображающих функций. Построены характеристики распознавания пространственных групповых точечных объектов на базе предложенных подходов. Исследовано влияние помеховых факторов на эффективность синтезированных алгоритмов обработки пространственных изображений.

Литература

  1. Кантор И.А., Солодовников А.С. Гиперкомплексные числа. – М.: Наука, 1973.

  2. Введение в контурный анализ и его приложения к обработке изображений и сигналов/ Я.А. Фурман, А.К. Передреев, А.В. Кревецкий, и др. – Под ред. Я.А.Фурмана. – М.: Наука, 2002. – 592 с.

Работа выполнена при финансовой поддержке гранта РФФИ, проект №07-01-00058




^ THE DECISION OF A PROBLEM OF RECOGNITION AND ESTIMATION OF PARAMETERS 2D AND 3D IMAGES AT UNKNOWN NUMBERING READOUT OF THEIR CONTOURS

Rozentsov A., Bayev A., Mazanov E.

Mari state technical university

The approaches which have developed to the present time to a solution of problems of handling of images of the flat and space plants, based methodology of the contour analysis, possess high effectiveness in conditions when indexing of the vectors forming a contour of the given image is known. In this case shaping a measure of similarity of flat or space images on the basis of the coordinated filtration of their contours is possible. In case of flat images it also allows to receive and estimations of parameters of linear transformations. The given approach is comprehensible both concerning continuous images, and concerning group point wise plants, however its application demands knowledge of indexing of vectors of a contour or marks in structure of group point wise plant as otherwise shaping of impulse performance of the filter coordinated with contour exposition of given plant, is impossible.

In work new approaches to shaping secondary expositions of contours of space images and images of group point wise plants, not dependent on the order of indexing of references of quaternion signals and measures of similarity ensuring shaping, invariant plants to linear transformations are offered. These approaches are based on the theory of function hypercomplex variable and are reduced to deriving conformal mappings of contours of treated plants in simple geometrical figures. Shows, that parameters of the functions setting isogonal transformations, can serve as informative indications at a discernment and an estimation of parameters of linear transformations of treated images.

In work the problem of deriving of conformal mappings of contours of space images of group point wise plants on a full-sphere on the basis of polynomial functions in view of not commutabilities of operation of multiplication of quaternion’s is solved. Influence of parameters of linear transformations on factors of mapping functions is certain. Algorithms of an estimation of parameters of linear transformations of space images are synthesized. The problem of a discernment of space images on the basis of the analysis of factors of mapping functions is solved. Performances of a discernment of space group point wise plants on the basis of the offered approaches are constructed. Influence noises factors on effectiveness of the synthesized algorithms of handling of space images are investigated.

1 Работа выполнена при поддержке РФФИ, грант 06-08-01497-а

2 Supported by RFBR grant 06-08-01497-a



Цифровая обработка сигналов и ее применение

Digital signal processing and its applications




Скачать 271,02 Kb.
оставить комментарий
Дата17.10.2011
Размер271,02 Kb.
ТипДокументы, Образовательные материалы
Добавить документ в свой блог или на сайт

Ваша оценка этого документа будет первой.
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

Рейтинг@Mail.ru
наверх