Обработка и передача изображений icon

Обработка и передача изображений


Смотрите также:
Обработка и передача изображений...
Анализ, обработка и передача динамических изображений в моделях виртуальной реальности...
Обработка и передача изображений определение смены сцены и шумоподобности кадров...
Обработка изображений в системах распознавания рукописного текста...
Лекция 1
Учебно-тематический план ит профиль 10 класс дата урока...
Рабочая программа по дисциплине «Компьютерная обработка изображений» По направлению...
Том числе компьютерного. Информационные процессы: хранение, передача и обработка информации...
Пространственно-временная ранговая обработка телевизионных изображений с малоразмерными...
Направления работы конференции...
Конспект Лекций Лекция 1 Введение в компьютерную геометрию и графику Основные направления...
Xxxiv региональная школа-конференция “...



Загрузка...
скачать

Обработка и передача изображений




colored intervals in the strip with close color characteristics. As a result of grouping, we obtain color bunches in the considered strip. Since colored objects in the image, e.g., colored cars on a road, have a complex shape with parts under different lighting and dirty places, usually, they have several parts with different, but close color characteristics. Each color bunch in the strip is a set of intervals with close color characteristics and a range of grayscale intensity. At the stage of intermediate processing, we construct from local objects in strips parts of global objects joining local objects (collections of intervals in strips) in adjacent strips. As a result, we obtain objects that have nonempty intersection with several strips. The shape of these global objects is characterized by a continuous system of collections of intervals in strips. The developed technique allows us to find other objects that are adjacent to the selected one and investigate not only a single object, but a totality of objects as well. For instance, we can simultaneously investigate objects together with the surrounding background. This means that we can take into account complex conditions of determining the color of the selected object in the way similar to that employed in the human brain.

Based on the developed technique a software package has been developed. This package constructs a concise image description for any color image, segments it, and visualizes the results of processing. The package can deal both with a single image and video sequences. The processing time linearly depends on the number of pixels and the performance of the processor. The algorithms can be reasonably parllelized if the computer has several processors. Since each image strip can be processed in parallel, the processing time can be reduced by a factor approximately equal to the number of strips the image is divided into. This package has an interface for working through a network (including the work via the Internet). For a standard Pentium IV processor, 3 GHz, color images of resolution 640x480 are processed at 10 fps to 8 fps. The processing rate for images of resolution 320x240 is four times greater. The processing rate for images given by a scalar intensity function (e.g., IR-images) is six times greater.

The developed technique has been successfully applied in driving autonomous vehicles on roads. At present, we use the developed package in order to apply it to autonomous navigation of a mobile robot in offices, including finding landmarks.




^ Контроль битовой скорости в стандарте видеокодирования H.264

Мочалов И.С., Жуков А.А.

Ярославский Государственный Университет им. П.Г. Демидова

Несмотря на появление носителей информации большой ёмкости, цифровое видео сжатие является важнейшей задачей. В связи с переходом России на цифровое телевиденье, необходим не только общий стандарт телевещания, но и общий стандарт видеосжатия. Одним из последних ведущих стандартов сжатия видеоданных является стандарт H.264.

Стандарт H.264, он же ISO/IEC MPEG-4 Part 10 (Advanced Video Coding) был опубликован в 2003 году. С тех пор в него были внесены несколько поправок, касающиеся передачи и хранения данных, а так же новых методов сжатия.

Основная задача состоит в усовершенствовании реализованного видеокодера по стандарту H.264 (базовый профиль) путем внедрения алгоритмов контроля битовой скорости.

Сжатие в стандарте H.264 происходит путем DCT-преобразования разности блока и его прогноза, в соответствие с DPCM/DCT моделью (рис. 1.):



Рис. 1. Блок-схема работы кодера.

Внутри кадра в растровом порядке для каждого макроблока M (блока пикселей 16х16) выполняются следующие действия: составляются прогнозы, по каждому допустимому из нижеприведенных вариантов, среди которых выбирается наилучший прогноз P и вычисляется матрица разности S=M-P. Затем вычисляется DCT преобразование и квантование каждого блока 4х4 пикселя матрицы разности S, а проквантованные коэффициенты матрицы S кодируются энтропийным кодером для получения потока бит.

Петля обратной связи имитирует декодер, и все операции проделываются в обратном порядке. В результате получается кадр Fn, который, как правило, не совпадает с Fn. Опорным кадром для последующих предсказаний служит Fn. Это делается для того, чтобы блоки прогноза кодера и декодера совпадали.

Прогноз P вычисляется по одному из следующих четырех вариантов (мод прогноза):

1) intra 4x4 – прогноз блока 4х4 по граничным пикселям текущего кадра (далее Pi4),

2) intra 16х16 – весь макроблок прогнозируется по граничным пикселям (далее Pi16),

3) inter – блок прогнозируется по ранее декодированным кадрам, и каждому блоку соот­вет­ству­ют вектора движения (от одного вектора на макроблок до 16 векторов на макроблок) (далее Pi0 или Pi1),

4) Skip – для макроблока не передается никаких данных (P строиться по предыдущему кадру, а S обнуляется) (далее Ps).

Для того чтобы не превысить пропускной способности канала связи, обеспечить стабильную битовую скорость на выходе кодера и максимальное качество при фиксированной битовой скорости в кодер встраиваются алгоритмы контроля битовой скорости.

Алгоритмы контроля битовой скорости можно разделить на:

  1. глобальные (Выбора шага квантования для всех макроблоков кадра),

  2. локальные (Выбора наилучшего варианта прогноза для данного макроблока).

Глобальный алгоритм выбирает шаг квантования, основываясь на заполнености буфера и ПОСШ текущего кадра. Мы не будем здесь рассматривать этот алгоритм, то есть будем считать параметр квантования QP заданным.

Локальный алгоритм действует на уровне макроблока (блока пикселей 16х16). Выбор варианта прогноза происходит в соответствии с минимумом функции Лагранжа J:

, где D – сумма абсолютных разностей текущего блока и его закодированной и декодированной копии, R – число бит, необходимых для кодирования этого макроблока, QP-параметр квантователя, λ – множитель, определяющий соотношение между качеством изображения и числом бит.

На первый взгляд локальный алгоритм вполне понятен, но на практике возникает ряд проблем. Во-первых, R – нелинейная функция от QP (параметра квантователя) и S (матрицы разности), причем для точного определения R нужно проделать всю цепочку DCT, квантование, энтропийный кодер. А для определения D – деквантование, IDCT (обратное DCT преобразование), вычисление SAD (Сумма Абсолютных значений Ошибок). Во-вторых, множитель λ(QP) должен опираться на статистические параметры текущего кадра. Выполнение этих действий увеличивает время работы кодера более чем в пять раз по сравнению с отсутствием RC-алгоритма (алгоритма контроля битовой скорости) и является неприемлемым в системах реального времени. Для ускорения работы кодера был разработан описанный ниже RC-алгоритм.

Опытным путем установлено, что мода Intra 16x16, как правило, уступает по качеству изображения Skip макроблокам в P-кадрах. Кроме того, мода Intra 4x4 слабо чувствительна к изменению значения λ, т.к. эффективна только при большом количестве мелких деталей, когда другие моды обладают очень большим значением D (ошибки). Поэтому основной выбор прогноза в нашем алгоритме осуществляется между Ps, Pi0 и Pi1. Где Pi0 – inter прогноз с тем же вектором движения MVp (MVp – вектор движения предсказанный по соседним макроблокам) что и Skip, а Pi1 – наилучший из inter прогнозов с вектором движения MV≠MVp.

Предлагаемый алгоритм контроля битовой скорости имеет следующую структуру:

  1. Глобальный алгоритм вычисляет значение QP обеспечивающее наилучшее ПОСШ при требуемой битовой скорости. По этому QP вычисляется λ0(QP).

  2. Для всех кадров, начиная со второго, между пре-фильтрацией и кодированием, происходит сбор статистических данных, которые используются в RC-алгоритме и при анализе смены сцены. Среди этих данных Ss- средняя ошибка Skip-макроблоков, объем сложных участков, плотность вероятности SAD и т.д.

  3. Исходя из этих данных, изменяется множитель α в формуле: , где λ0 зависит только от QP, а α – опирается на статистические параметры кадра.

Для случая QP>33 и слабого движения Δα принимает наиболее простой вид:

, где nm среднее значение числа ненулевых коэффициентов , здесь Ss – среднее значение SAD, для Skip-макроблоков, QS – шаг квантования равный (для указанного случая)

, (1), ΔR – необходимое изменение числа бит на кадр, N0 – число макроблоков в кадре. Очевидно, что ΔR/ N0 – это среднее изменение числа бит на макроблок.

Изменение α ведет к изменению числа Skip-макроблоков, и следовательно, к изменению числа бит. Экспериментальные зависимости процента Skip-макроблоков от α представлены на рис. 2.



Рис. 2. Экспериментальная зависимость числа Skip-макроблоков от α.

При выходе α за пороговые значения αпор, изменяется параметр квантователя QP: αпор1=0.85, αпор2=1.14.

Предложенный алгоритм изменения α занимает промежуточное положение между локальным и глобальным алгоритмом и позволяет изменять число бит внутри кадра, не изменяя параметра квантователя QP.

Для быстрого нахождения D (ошибки восстановления) и R (числа бит) предлагается следующий метод: на основании матрицы остаточных коэффициентов S и параметра квантователя QP находиться сумма абсолютных значений проквантованных DCT-коэффициентов nq для каждого блока 4х4, по формуле:

, где QS – шаг квантования, соответствующий текущему значению параметра квантователя QP. В общем виде, параметр QS вычисляется по формуле: , где nz – число ненулевых частот либо предсказанное по соседним блокам, либо вычисленное альтернативным способом. QS имеет смысл изменения SAD при удалении из проквантованного DCT-образа одной из частот со значением ±1.

Далее, рассчитывается среднее число бит nb(nq,nz) по схеме, определяемой битовой таблицей и числом ненулевых коэффициентов соседних блоков, и вычисляется вклад ненулевых DCT-коэффициентов в улучшение качества изображения. Для этого вычисляется функция dS: , где SAD(nq) – сумма абсолютных значений ошибок декодированного макроблока, при передачи nq ненулевых DCT-коэффициентов.

Для вычисления J макроблока необходимо проделать описанные выше операции (т.е. определить D и R) для 16 блоков 4х4 яркости, а при необходимости еще и для 6 блоков 4х4 хроматичности.

В настоящее время происходит выбор оптимальной аппроксимации функции dS(nq,QP).

Результаты тестирования видеопоследовательности Math and Doter при кусочно-линейной аппроксимации функции dS представлены на рис.3.



Рис. 3. результаты тестирование последовательности Math and Doter.

Для других тестовых видеопоследовательностей результаты тестирования, безусловно, отличаются от представленных. Но для всех протестированных последовательностей (Carphone, Mobile, Formen и др.) выигрыш ПОСШ был около 2 дБ. Хочется так же добавить, что предложенный метод уменьшает время вычисления функции Лагранжа J более чем в 10 раз.

Наконец, приведем оценку для λ0(QP). В работе [3] предлагается оценка:

Выполним альтернативную оценку. В стандарте H.264 используется контекстно-адаптивное кодирование кодами переменной длинны (CAVLC). В таком случае, для кодирования одного ненулевого элемента требуется разное количество бит nb1, зависящее от числа ненулевых коэффициентов соседних блоков (т.е. и от битовой скорости) и от положения ненулевого элемента в матрице частот. Среднее значение nb1 равно 7 бит на блок 4х4 пикселей (с учетом заголовка макроблока), если среднее число ненулевых коэффициентов nz соседних блоков ≤1. При этом среднее изменение SAD (суммы абсолютных значений ошибок): Как показывает практика, передача блока с одним ненулевым DCT-коэффициентом, менее эффективна, чем уменьшение шага квантования. Поэтому параметр λ0 должен принимать значение:

При больших значениях QP, в области слабого движения (когда nb1=7 бит) обе оценки дают схожие значения параметра λ0. В других случаях предлагаемая оценка дает лучшие результаты, т.к. является менее комплексной и требует значения nb1.

Таким образом, предложенная реализация алгоритма контроля битовой скорости позволяет повысить ПОСШ более чем на 2 дБ без существенных временных затрат. При этом возможно улучшение данного алгоритма путем использования более точной аппроксимации функции dS.

Литература

1. Ричардсон Я. Видеокодирование. H.264 и MPEG-4 – стандарты нового поколения. ─ Москва: Техносфера, 2005.

2. ISO/IEC MPEG-4 Part 10 (Advanced Video Coding).

3. Hongtao Yu, Zhiping Lin An Improved Rate Control Algorithm for H.264. – IEEE, 2005. – 312 – 315 c.




Rate Control in H.264 videocoding standard

Mochalov I., Ghukov A.

Yaroslavl State University

Today H.264 [1] is the video coding Standard with the best Bit-Rate PSNR ratio. There are a lot of realizations of this standard, but real efficiency of algorithms researches, namely video data processing algorithms can be only build in JM test codec. But it’s slow and some of developed algorithms are hardly introduced and furthermore modified JM can’t be commercial product.

Primary objective is program realization H.264 video codec in C++ language, its optimization and debugging. Secondary objective is achieving (if possible) present compression algorithms and developing new algorithms that are necessary to H.264 Baseline profile encoder. There are Change scene, Fast motion compensation, Dynamic QP choose, Rate control, Mode decision and Entropy encoding algorithms.

H.264 encoder has an upper boundary of efficiency (PSNR Bit-Rate ratio), that must be achieved. At the same time the possibility to work in real time must be saved. Secondly, Rate Control algorithm efficiency depends on probability density of SAD (sum of absolute differs) of skip blocks and non-skip blocks, so RC (Rate Control) algorithm must use this data. But existent RC algorithms don’t use it. Generally they based on minimization of Lagrange function where D denotes the sum of square differences between the original block and its reconstruction, R is the number of bits associated with a chosen mode, and λ is the Lagrange multiplier depends only on QP (Quantize Parameter). Most coding efficiency achieves when λ depends on video sequence parameters. This Hypothesis is verified by testes. Thirdly maximum PSNR Bit-Rate ratio can’t be achieved using only MacroBlock- and Frame-layer RC algorithms. So GMC (Global Motion Compensation) and RC must be used jointly.

Compression on law Bit-Rate occur because of Skip blocks using. Number of bits – non-zero coefficients models and number of bits – SAD and average value of block's coefficients models were built. Tests result that GMC increase image quality at the same Bit-Rates by 1 dB (especially on medium Bit-Rates) furthermore dynamic change RC algorithm parameters increase image quality by 2 dB.





Оценивание параметров смещения изображения при выделении движущихся объектов в сложных условиях наблюдения

Стротов В.В.

Рязанский государственный радиотехнический университет

Введение

Автоматическое выделение объектов – это одна из важных задач анализа последовательностей изображений. Под выделением объектов понимается классификация точек изображения на точки, принадлежащие объекту, и точки, принадлежащие фону. Среди методов выделения объектов можно отметить методы, основанные на временной обработке последовательностей изображений [1]. Данный класс методов успешно применяются в задачах выделения подвижных объектов. Особенностью методов выделения объектов, основанных на временной обработке, является необходимость учёта и парирования геометрических деформаций фонового изображения.

В настоящем докладе рассмотрена проблема, связанная с оцениванием параметров геометрических преобразований изображения с целью дальнейшего выделения движущихся объектов. При этом мы ограничиваемся одним практически важным типом геометрических преобразований фонового изображения – смещением.

Основными группами методов оценивания параметров геометрических преобразований являются корреляционные, спектральные и структурные [2]. Корреляционные методы основаны на поиске точки максимума некоторой функции сходства, вычисленной при различных значениях параметров преобразования. При использовании спектральных методов оценки параметров геометрических преобразований каждое изображение предварительно преобразуется в частотную область, и дальнейшие вычисления производятся с использованием Фурье–спектров изображений. Структурные методы обычно включают в себя три этапа. На первом этапе производится поиск на изображениях характерных структурных элементов. В качестве таких элементов могут выступать точечные, линейные или площадные объекты, которые могут быть хорошо идентифицированы. На втором этапе устанавливаются типы взаимосвязей между структурными элементами различных изображений. На третьем этапе координаты структурных элементов и связи между ними используются для составления системы уравнений, решив которую, можно найти искомые параметры преобразований. В данной работе предлагается алгоритм, использующий структурный подход к определению параметров смещения фонового изображения.

^ Постановка задачи

Рассмотрим модель формирования изображения. Пусть датчик формирует дискретную видеопоследовательность , где – номер кадра, . Пусть – неизменное во времени изображение сцены в отсутствие искажений и движущихся объектов. Пусть – изображение фона с присутствующими на нём объектами на кадре с номером . Связь между и описывается моделью заслона: , (1), где – бинарное изображение, единичные значения которого задают размещение объектов на кадре , – яркостное изображение всех движущихся объектов на кадре . Объекты занимают не более 10% площади кадра и перемещаются относительно фона (в общем случае ).

Связь между и задаётся выражением:

, (2), где – вектор смещения фонового изображения, который равен нулю в первоначальный момент наблюдения: , – векторное поле деформаций изображения, обусловленных случайными геометрическими искажениями, – гауссовский аддитивный шум датчика с нулевым математическим ожиданием. Возможно временное пропадание информации от видеодатчика, которое происходит одновременно с появлением стробирующего сигнала «отсутствие видеоинформации» . Для наблюдения могут применяться видеодатчики как с чересстрочной, так и с прорессивной развёрткой.

Задача оценивания параметров смещения состоит в нахождении оценок вектора на основе анализа последовательности наблюдаемых изображений , .

^ Структурный алгоритм оценивания параметров сдвига фона

Предлагаемый в настоящей работе алгоритм основан на одновременном корреляционном отслеживании смещения нескольких участков изображения, называемых опорными. При реализации корреляционного слежения за опорными участками изображения использовалась разностная критериальная функция, дискретная форма которой имеет вид:

, (3), где – эталонное изображение -го опорного участка, сформированное к кадру с номером , – параметр, характеризующий размер эталонного изображения, – предполагаемое смещение опорного участка. На основе полученных оценок по всем участкам, кроме участка с номером (называемого дополнительным) формируется общая оценка смещения : , . (4).

На каждом кадре опорный участок, имеющий наибольшее отклонение от оценки (4) заменяется дополнительным опорным участком. Вычисленные значения , полученные в результате обработки -го кадра, поступают на вход алгоритма выделения движущихся объектов. Подробнее данный алгоритм рассмотрен в работе [3].

^ Оценка параметров смещения при чересстрочной развёртке

Значительные ошибки в определение смещения, особенно вдоль горизонтальной оси, вносит чересстрочная развёртка. Рассмотрим характер возникающих эффектов и методы, позволяющие парировать данные эффекты.

При движении камеры или объекта, вследствие задержки между поступлением нечётных и чётных строк на половину времени кадра, происходит искажение контуров объектов. Очевидно, что при достаточно резких смещениях камеры результаты оценивания положения опорных участков алгоритмом по формуле (3) могут отличаться от истинных на величину до 50% сдвига за кадр.

Рассмотрим подход, основанный на работе с отдельными полукадрами. Полукадром будем называть изображение, составленное только из чётных или нечётных строк исходного кадра. Предлагаемый подход предусматривает разделение каждого эталоного изображения на два участка половинного размера и по тому же принципу – только чётные или только нечётные строки.

Далее, поиск местоположения каждого из полуэталонов производится в каждом полукадре, результаты оценивания положения объединяются следующим образом:

Определяется, какой из уменьшенных участков в большей степени соответствует участку, найденному в каждом из полукадров. Для этого в рассмотрение вводятся так называемые полукадровые коэффициенты и : (5), где - экстремальное значение критериальной функции, вычисленной для -й половины участка и q-го полукадра. Если оба коэффициента оказываются больше или меньше 0,5, то их значение корректируется следующим образом: если , то .

Если >0,5, то в-ом полукадре находится участок , иначе – . За значение оценок принимаются оценки для данного полуэталона.

Итоговые значения оценок координат вычисляются следующим образом

(6).

Оценивание параметров смещения при временном пропадании видеоинформации

В ходе работы реальной видеоинформационной системы возможно пропадание видеоинформации на входе. В нашем случае, оно происходит одновременно с установлением стробирующего сигнала из нулевого состояния в еденичное. Необходимо восстановить работу всех алгоритмов при появлении видеосигнала за время, равное времени обработки 1–5 кадров.

Для этого, при установлении строба в еденичное состояние приостанавливается работа алгоритма слежения за фоном. Изображения и текущее местоположение опорных участков запоминаются и не изменяются до момента пропадания стробирующего сигнала. Также, необходимо приостановить выполнение всех алгоритмов, использующих результаты работы алгоритма слежения за фоном.

При установлении строба в нулевое состояние для восстановления работы алгоритма слежения за фоном необходимо, прежде всего, найти местоположение всех опорных участков в текущем кадре. Для этого необходимо произвести корреляционный поиск каждого из них в текущем кадре. Очевидно, что прямой перебор всех возможных положений займёт слишком много времени, поэтому предлагается выполнить данное действие в два этапа. На первом этапе текущее изображение, а также изображения эталонных объектов пропорционально уменьшаются в раз, где . Далее, производится определение местоположения уменьшенных участков в уменьшенных зонах поиска с использованием соотношения (3). Также производится отсев участков, для которых оценки смещения сильно отличаются от оценок смещения остальных эталонов с помощью соотношения (4). На втором этапе полученные координаты приводятся к системе координат полноразмерного изображения путём умножения на . Затем, на полном кадре для неотсеяных на первом этапе эталонов необходимо выбрать новые зоны поиска с центром в найденных точках и произвести новое оценивание координат эталонов.

Далее, по уточнённым оценкам координат произвести вычисление смещения фонового изображения за время пропадания видеоинформации. Это позволит немедленно возобновить работу алгоритма слежения за фоном алгоритма выделения объектов.

Были проведены экспериментальные исследования представленного алгоритма и его модификаций с использованием видеопоследовательностей, сформированных датчиками наземного, воздушного и космического базирования. При этом оценки смещения поступали на вход алгоритма выделения движущихся объектов [4]. Количество опорных областей размером 32х32 пикселя принималось равным 5, размер каждой зоны поиска – 25х25 пикселей. Результаты экспериментов показали, что при наличии на изображении неоднородных участков фона данный алгоритм показывает достаточную точность для успешной работы алгоритма выделения движения при наличии таких неблагоприятных условий наблюдения, как наличие искажений, вызванных чересстрочной развёрткой, а также временное пропадание видеоинформации.

Доклад подготовлен при поддержке гранта РФФИ № 06-01-08021-офи.

Литература

  1. Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. – 2004. – №4. – С. 9-14.

  2. Zitova B., Flusser J. Image registration methods: a survey // Image and Vision Computing 21 – 2003, pp. 977–1000.

  3. Бабаян П.В., Стротов В.В. Оценивание параметров смещения изображения при выделении движущихся объектов // Цифровая обработка сигналов и её применение. Тез. докл. 8-я международная конференция. Москва, 2005 – с. 375-378

  4. Б.А. Алпатов, П.В. Бабаян, В.В. Стротов. Анализ точностных характеристик методов слежения за фоновым изображением для бортовой видеоинформационной системы. // Вестник РГРТА. Вып. 20. Рязань, 2007 – с. 3 – 10




^ Image shift parameters estimation for moving objects detection tasks in adverse observation conditions

Strotov V.

Ryazan state radioengineering university

In this article the algorithm of image shift estimation is proposed. This algorithm is aimed to be used commonly with object extraction algorithm, described in [1]. There are different approaches to image shift estimation [2]. One of the most effective image shift estimation methods is correlation algorithm. The algorithm suggested is based on simultaneously tracking on selected reference regions of image.

At the first frame the regions are situated at the image in random case or in case of some criteria.

Correlation tracking is implemented using difference criterion function. In discrete form this function can be described as: , (1), where –image from the image sensor, – template image, – frame number, – template image width and height, – supposed region shift.

During the tracking on reference regions, at every frame pairs of shift estimations are formed: . The whole image shift estimation is calculated based on shift estimations for all regions, exclude additional region : , . (2).

Region, that appears the most difference with (2), changes with the search region.

In case of interlaced picture, approach, based on handling with half-sized images is suggested. It supposes entry frame dividing to half-frames. Also, all reference regions divide to so-called half-regions, formed by the same concept, as half-frames. Using relation (2), estimating position of all half-regions in both half-frames. After that, half-frame coefficients и can be calculated: (3)

there - minimum of criterion function for -th half-region in q-th half-frame. Using this coefficients we can decide, which half-region most presents in the particular half-frame. Final evaluation of image background shift is:

(4).

In case of temporary video information fallout, background tracking algorithm and all depending algorithms must be paused. Then the video signal returns, for the fastest resumption of all algorithms it necessary to find all reference regions location. It can be performed in two steps. First, scale down entry frame and all regions in times. Next, find positions of reduced regions on reduced image using (1) and (2) and multiply their coordinates by . This gives rough estimate of reference regions positions. They can be qualified using (1). All this operations take time equal of 1-5 frames exposure time.

The experimental results are shown the effectiveness of the proposed algorithm on some life and synthesized video sequences, including aerial and surface sequences with nonuniform background, and also some cosmic sequences.

References

  1. Alpatov B.A., Babayan P.V. Еxtraction of moving targets from the image sequence, distorted with geometric transformations // Digital signal processing. – 2004. – №4. – pp. 9-14.

  2. Zitova B., Flusser J. Image registration methods: a survey // Image and Vision Computing 21 – 2003, pp. 977–1000.




^ СРАВНИТЕЛЬНЫЙ АНАЛИЗ ЭТАЛОННЫХ АЛГОРИТМОВ ОЦЕНКИ КАЧЕСТВА ИЗОБРАЖЕНИЙ

Абдуллоев А.А., Апальков И.В.

Ярославский государственный университет им. П.Г. Демидова
150000, Россия, Ярославль, ул. Советская 14, Тел. (4852) 797775, e-mail: connect@piclab.ru

При синтезе и анализе алгоритмов обработки неподвижных цифровых изображений и видеопоследовательностей (сжатие, восстановление, улучшение) одним из актуальных направлений исследований является разработка численных методов оценки качества изображений. Такие критерии качества должны в идеале выдавать близкие к суждениям экспертов оценки, адекватно соотносясь с типами искажений и степенью их воздействия [1].

В данной работе представлены результаты проведения субъективного анализа качества цифровых изображений, а также их сравнение с различными объективными алгоритмами. В рамках психометрического эксперимента была проведена экспертиза 420 изображений, полученных с помощью 6 различных алгоритмов искажений. В эксперименте варьировались содержание изображений, вносимые искажения и их степень.

Для проведения исследования было отобрано 10 полутоновых тестовых изображений размером 512×512 пикселей, входящих в исследовательскую среду PicLab [2]. Тестовый набор содержал изображения людей, животных, аэрофотосъемки и рукотворных предметов.

Всего было выбрано 6 видов искажений.

  • Гауссово размытие. Изображения обрабатывались двумерным гауссовым ядром с круговой симметрией и стандартным отклонением в интервале от 2 до 12 пикселей.

  • Сжатие JPEG. Искаженные изображения были получены сжатием оригинальных изображений алгоритмом JPEG, битрейт менялся от 0,22 bpp до 0,67 bpp.

  • Сжатие JPEG2000. Искаженные изображения были получены сжатием оригинальных изображений алгоритмом JPEG2000, битрейт менялся от 0,08 bpp до 0,47 bpp.

  • Импульсный шум «Соль-и-перец» (ИШ1). Некоторые пиксели оригинальных изображений были заменены значениями 0 либо 255. Координаты измененных пикселей выбирались случайно. Отношение искаженных пикселей к неискаженным составляло величину от 0,01 до 0,45.

  • Импульсный шум со случайными значениями импульсов (ИШ2). Некоторые пиксели оригинальных изображений были заменены случайными значениями, равномерно распределенными в интервале [0..255]. Координаты измененных пикселей также выбирались случайно. Отношение искаженных пикселей к неискаженным составляло величину от 0,01 до 0,45.

  • Аддитивный белый гауссов шум (АБГШ). В изображения вносился аддитивный белый гауссов шум с дисперсией от 0,001 до 1.

Выбранные искажения отражают широкий класс повреждений присутствующих в реальных изображениях. Степени каждого искажения были подобраны так, чтобы покрывать интервал от практически незаметных до сильных.

При непосредственном проведении эксперимента был использован одностимуляционный метод [3] при котором оригинальное изображение входит в набор предлагаемых эксперту изображений и оценивается наряду с остальными.

В исследовании использовались 17-ти дюймовые мониторы с установленным разрешением 1024×768 и идентичными настройками. За каждым компьютером был закреплен один вид искажения. Эксперты оценивали изображения с расстояния примерно равного двум-трем высотам экрана. В качестве экспертов были привлечены студенты старших курсов Ярославского государственного университета им. П.Г. Демидова, обучающиеся по специальностям «Радиофизика и электроника» и «Телекоммуникации». Гендерное отношение составило 5:2 в пользу юношей. Выбранные студенты не являлись специалистами в области оценки качества изображений. В эксперименте не учитывались отклонения и заболевания органов зрения экспертов.

Эксперимент проводился группами по 6 человек. Каждая группа получала вербальный инструктаж о целях исследования и интерфейсе программы (рис. 1). После этого каждый эксперт приступал к оцениванию 80 изображений, которые соответствовали одному виду искажения и предъявлялись в случайном порядке. Первые десять оценок эксперта не учитывались, они играли роль тренировочного набора. Эксперт фиксировал свою оценку, перемещая ползунок в графическом интерфейсе программы по непрерывной шкале, отражающей качество. После выставления каждой оценки ползунок перемещался к центру шкалы. Более того, не сместив ползунок вообще, невозможно было перейти к следующему изображению. Вся шкала была разделена пятью делениями: «Очень плохо», «Плохо», «Средне», «Хорошо», «Очень хорошо». После выставления оценки положение ползунка линейно отражалось в диапазон оценок от 1 до 100. На рис. 2 приведены примеры изображений и средние оценки экспертов, полученные в ходе эксперимента.

Поскольку эталонные изображения также оценивались экспертами, то для определения адекватной оценки применялась мера DMOS, которая вычислялась как разность между средней оценкой оригинала и средней оценки текущего изображения (MOS).

Для предварительной обработки полученных данных был выбран простой алгоритм определения промахов. Полученная оценка исключалась из рассмотрения, если ее отклонение от среднего превосходило стандартных отклонений оценок для текущего изображения. Все оценки эксперта исключались из рассмотрения, если среди них было более промахов. Для определения величин и применялся численный алгоритм оптимизации с тем, чтобы минимизировать ширину 95% доверительного интервала. Всего было исключено примерно 5% исходных оценок.

В таблице 1 представлены численные алгоритмы эталонной оценки качества изображений, которые в рамках исследования подвергались сравнению с мнением экспертов.



Рис. 1. Внешний вид программы, использованной в эксперименте





Оригинальное изображение
(8 bpp, ПОСШ = ∞ дБ, MOS = 88,8)


Сжатие JPEG
(0,53 bpp, ПОСШ = 35,91 дБ, MOS = 79,2)





Сжатие JPEG
(0,35 bpp, ПОСШ = 33,53 дБ, MOS = 41,1)

Сжатие JPEG
(0,22 bpp, ПОСШ = 28,66 дБ, MOS = 7,1)

Рис. 2. Примеры искажения тестового изображения «Скарлетт»; приведены: битрейт, оценка ПОСШ и средняя оценка экспертов (MOS)

Таблица 1.

Эталонные оценки качества, рассматриваемые в работе

Название алгоритма

Примечание

ПОСШ

Пиковое отношение сигнала к шуму [4]

УИК

Универсальный индекс качества с размером маски 3×3, 5×5, 7×7 [5]

SSIM

Критерий структурного подобия [6]

IFC

Критерий информационной точности [7]

ПОСШ-М

Модифицированный ПОСШ

УИК-М

Модифицированный УИК

В качестве критерия близости результатов визуального эксперимента и алгоритмов оценки качества изображений в работе использовался коэффициент линейной корреляции между соответствующими значениями DMOS и оценками алгоритмов. Коэффициент корреляции вычислялся после проведения нелинейной регрессии. В качестве нелинейности использовалась логистическая функция с добавленным к ней линейным членом, таким образом, регрессионная кривая зависела от пяти параметров.

.

Полученные коэффициенты корреляции приведены в таблице 2. Ее анализ показывает, что критерий ПОСШ хорошо отражает мнение экспертов при рассмотрении искажений вызванных шумами и стандартом сжатия JPEG2000, однако плохо справляется с искажениями типа Гауссового размытия. Алгоритм УИК для всех рассмотренных масок показывает результаты сравнимые с ПОСШ, при этом значительно превосходя его на нешумовых искажениях. Коэффициент структурного подобия SSIM неплохо справился со всеми искажениями и по некоторым из них превзошел критерий УИК. Критерий информационной точности IFC выдает адекватные результаты для всех рассмотренных видов искажений. Алгоритмы ПОСШ-М и УИК-М разработаны с использованием матриц квантования, соответствующих модели зрительного восприятия человека и известных метрик ПОСШ и УИК. Результаты показывают, что результаты этих алгоритмов близки, но ПОСШ-M превосходит УИК-М.

Таблица 2.

Коэффициенты корреляции между значениями DMOS и эталонными критериями

Искажение

Алгоритм оценки качества

ПОСШ

УИК

[3×3]

УИК

[5×5]

УИК

[7×7]

SSIM

IFC

ПОСШ-М

УИК-М

Гауссово размытие

0,396

0,733

0,734

0,716

0,663

0,892

0,837

0,732

JPEG

0,517

0,776

0,810

0,832

0,617

0,790

0,825

0,890

JPEG2000

0,845

0,751

0,790

0,811

0,837

0,821

0,915

0,878

ИШ1

0,950

0,944

0,904

0,884

0,912

0,805

0,951

0,884

ИШ2

0,953

0,964

0,932

0,920

0,945

0,846

0,958

0,911

АБГШ

0,979

0,893

0,911

0,924

0,947

0,892

0,980

0,936


Среди рассмотренных критериев не один из них полностью не отражает мнение экспертов, поэтому задача разработки более адекватного алгоритма оценки качества остается актуальной для современных систем цифровой обработки изображений.

Литература

1. Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment VQEG, Mar. 2000 [Online]. Available: http://www.vqeg.org/

2.  Приоров А.Л., Апальков И.В., Хрящев В.В. Цифровая обработка изображений, Ярославль: ЯрГУ, 2007. –235 с.

3. ITU-R Recommendation BT.500-11. Methodology for the subjective assessment of the quality of television pictures. ITU-T, 2002.

4. Гонсалес Р., Вудс Р. Цифровая обработка изображений – М.: Техносфера, 2005.

5. Арляпов С.А., Хрящев В.В., Приоров А.Л. Модифицированный критерий оценки качества восстановленных изображений // Цифровая обработка сигналов. 2006. № 2. С. 27-33.

6. Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli, “Image quality assessment: From error measurement to structural similarity,” IEEE Trans. Image Processing, vol. 13, Jan. 2004.

7. H. R. Sheikh, A. C. Bovik, and G. de Veciana, “An information fidelity criterion for image quality assessment using natural scene statistics,” IEEE Trans. Image Process., vol. 14, no. 12, pp. 2117–2128, Dec. 2005.




^ COMPARATIVE ANALYSIS OF FULL-REFERENCE IMAGE QUALITY ASSESSMENT CRITERIA

Abdulloev A., Apalkov I.

Yaroslavl State University
14 Sovetskaya st., Yaroslavl, Russia 150000, Phone: 7-4852-797775. E-mail: connect@piclab.ru

In the field of digital image and video processing algorithms development (compression, restoration, improvement, etc.), there is one of actual research directions, that is numerical methods of an images quality estimation. The purpose of similar researches consists in development of reference algorithms of an estimation of the digital images corresponding quality perceived by the human. That means, that such algorithms should give estimation close to judgments of experts, corresponding with kinds of distortions and their degree.

During the years the huge number of scientists has brought the significant contribution to development of full-reference quality estimation algorithms. The community of researchers has realized importance and necessity of offered criteria check on files of daily images, as VQEG (Video Quality Expert Group – a commission of experts of quality of video) researches have shown [1], that nine advanced for that video quality estimation algorithms among which were also absolutely not trivial, "are statistically indistinguishable" from criterion PSNR (peak signal-to-noise ratio). Hence, digital image quality estimation algorithms should be exposed to the full-scale analysis before widely to be put into practice.




Цифровая обработка сигналов и ее применение

Digital signal processing and its applications




Скачать 257,75 Kb.
оставить комментарий
Дата04.03.2012
Размер257,75 Kb.
ТипДокументы, Образовательные материалы
Добавить документ в свой блог или на сайт

Ваша оценка этого документа будет первой.
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

Рейтинг@Mail.ru
наверх