Конспект лекций Бийск 2007 удк 621. 377. 037. 3 icon

Конспект лекций Бийск 2007 удк 621. 377. 037. 3


Смотрите также:
Конспект лекций удк 651. 5 Ббк 60. 844 Конспект лекций по курсу «Делопроизводство»...
Конспект лекций удк 651. 5 Ббк 60. 844 Конспект лекций по курсу «Делопроизводство»...
Конспект лекций Красноярск 2009 удк 627. 352...
Конспект лекций соответствует требованиям Государственного образова­тельного стандарта высшего...
Конспект лекций для студентов всех специальностей дневной и заочной формы обучения Челябинск...
Конспект лекций для студентов специальности 090804 "Физическая и биомедицинская электроника"...
Конспект лекций для студентов заочного факультета всех специальностей Все цитаты...
Курс лекций Санкт-Петербург 2007 удк 342. 9 Ббк 67. 401 Б83 Рецензенты...
Конспект лекций Омск 2002 удк 629. 424. 01...
Удк 621. 398: 621. 317: 519...
Методические указания Томск 2007 удк 621. 38...
Конспект лекций по курсу «теория чисел» Методическая разработка...



Загрузка...
страницы: 1   2   3   4   5
вернуться в начало
скачать

^ 2.7 Цифровые фильтры Баттерворта

Наиболее известным типом рекурсивного фильтра является фильтр Баттерворта, для которого после преобразования (29) коэффициент передачи мощности принимает вид (рисунок 18):

,

где – порядок фильтра;

– нормированная переменная;

;

– частота среза фильтра.




Рисунок 18 – Коэффициент передачи мощности фильтра Баттерворта


Для расчета прямым методом частотной характеристики фильтра Баттерворта найдем полюсы коэффициента передачи мощности:

,

, где .

Таким образом, искомые полюсы имеют вид:

. (30)

Для устойчивых корней, лежащих в верхней полуплоскости, должно выполняться условие .

Частотная характеристика фильтра Баттерворта рассчитывается по соотношению:

. (31)

Учитывая связь переменных и , осуществим переход



Для определения коэффициентов цифрового фильтра Баттерворта выражение для частотной характеристики рекурсивного фильтра



преобразуем к виду

,

используя замену .

Сравнивая функции и одного порядка, можно идентифицировать коэффициенты цифрового фильтра Баттерворта

Пример. Рассчитать коэффициенты цифрового фильтра Баттерворта третьего порядка.

При коэффициент передачи мощности фильтра примет вид:

(32)

Согласно формуле (30), устойчивые полюсы функции (32) определятся по соотношению:



Фильтр 3-го порядка будет представлять собой каскадное соединение двух звеньев: звена 1-го порядка с корнем и звена 2-го порядка с корнями .

Рассчитаем звено первого порядка. Корень звена 1-го порядка равен поэтому частотная характеристика звена, согласно (32), примет вид:



После подстановки с учетом получим:

.

Амплитудно-частотная характеристика звена будет равна:

. (33)

Частотная характеристика цифрового фильтра 1-го порядка имеет вид:

,

откуда модуль определится как:

(34)

Для идентификации коэффициентов звена 1-го порядка цифрового фильтра Баттерворта преобразуем выражение (33) к виду:

. (35)

Из сравнения выражений (34) и (35) находим:



Таким образом, уравнение звена 1-го порядка цифрового фильтра Баттерворта 3-го порядка примет вид:



Соответствующее уравнение звена 2-го порядка запишется как:



где коэффициенты подлежат определению по аналогии со звеном 1-го порядка.


^ 2.8 Расчет цифрового фильтра путем приближения

полиномами по методу наименьших квадратов


Допустим, что имеется N точек массива данных , которые необходимо аппроксимировать по некоторому критерию с помощью полинома степени p. В качестве критерия аппроксимации выберем критерий метода наименьших квадратов.

Принцип наименьших квадратов устанавливает, что из всех полиномов степени p следует выбрать тот, для которого сумма квадратов отклонений значений полинома от точки массива данных будет наименьшей. Этот принцип, конечно, является условным, и его не следует принимать как абсолютную истину.

В качестве примера рассмотрим набор из пяти равноотстоящих точек данных, для которых − произвольные значения.

Будем осуществлять аппроксимацию данных по методу наименьших квадратов с помощью квадратной параболы

,

то есть .

Минимизируем функцию невязок Е, представляющую собой сумму квадратов разностей ординат экспериментальных точек и полинома:

.

В качестве сглаженного значения примем среднюю точку параболы, в этом случае необходимо найти только значение коэффициента А.

Условие минимума функции невязок соответствует равенству нулю ее первых производных:

, , .


После дифференцирования

,

,



получим систему трех уравнений:

(36)


Учитывая, что суммы по нечетным степеням равны нулю, система (36) примет вид:



Решим полученную систему относительно коэффициента А методом Крамера:

,

где




Таким образом,



(37)

Выражение (37) напоминает уравнение выходного сигнала сглаживающего пятерками нерекурсивного фильтра:



Если принять то можно получить выражение для частотной характеристики такого фильтра:

.

На основании рассмотренного примера можно сделать важный вывод, что какую-либо линейную комбинацию равноотстоящих точек можно рассматривать как некоторую фильтрующую функцию. Ранее, пока соответствующая теория не была достаточно ясна, нередко случалось, что некоторые невинно выглядевшие преобразования, выполненные на начальных стадиях вычислений, существенно влияли на конечный результат, который затем интерпретировался как физический эффект, а не как эффект обработки данных.


2.9 Z-преобразование


При анализе и синтезе дискретных и цифровых устройств широко используют Z-преобразование, играющее по отношению к дискретным сигналам ту же роль, что и интегральные преобразования Фурье и Лапласа по отношению к непрерывным сигналам.

^ Определение Z-преобразования. Пусть – числовая последовательность (конечная или бесконечная), содержащая отсчетные значения некоторого сигнала. Поставим ей в однозначное соответствие сумму ряда по отрицательным степеням комплексной переменной Z:

(38)

Сумму (38), если она существует, называют Z-преобразованием последовательности . Целесообразность введения такого математического объекта связана с тем, что свойства дискретных последовательностей чисел можно изучать, исследуя их Z -преобразования обычными методами математического анализа.

На основании формулы (38) можно непосредственно найти Z-пре-образование дискретных сигналов с конечным числом отсчетов. Так, простейшему дискретному сигналу с единственным отсчетом соответствует . Если же, например, , то

^ Сходимость ряда. Если в ряде (38) число слагаемых бесконечно велико, то необходимо исследовать его сходимость. Из теории функций комплексного переменного [6] известно, что если коэффициенты рассматриваемого ряда удовлетворяют условию



где постоянные вещественные числа, то ряд (38) сходится при всех значениях , таких, что . В этой области сходимости сумма ряда представляет собой аналитическую функцию переменной , не имеющую ни полюсов, ни существенно особых точек.

Пример. Рассмотрим дискретный сигнал , образованный одинаковыми единичными отсчетами и служащий моделью обычной функции включения. Бесконечный ряд является суммой геометрической прогрессии и сходится при любых z в кольцевой области

Суммируя прогрессию, получим



На границе области аналитичности при эта функция имеет единственный простой полюс.

Z-преобразование непрерывных функций. Полагая, что отсчеты представляют собой значения непрерывной функции в точках , любому сигналу можно сопоставить его Z-преоб-разование при выбранном шаге дискретизации:

.

Например, если , то соответствующее Z-преоб-разование примет вид:

.


Важнейшие свойства Z-преобразования. Рассмотрим некоторые свойства Z-преобразования.

1. Линейность. Если и – некоторые дискретные сигналы с известными Z-преобразованиями и , то сигналу будет отвечать преобразование при любых постоянных и .

2. Z-преобразование свертки. Пусть и – непрерывные сигналы, для которых определена свертка



Применительно к дискретным сигналам принято вводить дискретную свертку в виде последовательности чисел

.

^ Z-преобразованию дискретной свертки отвечает произведение Z-преобразований сигналов:



.


^ Системная функция цифрового фильтра. Расчет важнейшей характеристики ЦФ – комплексной частотной характеристики – удобно проводить, используя методы Z-преобразований.

Сопоставим дискретным сигналам , , их Z-преоб-разования , , соответственно. Поскольку выходной сигнал фильтра представляет собой свертку входного сигнала и импульсной характеристики , то ему отвечает функция .

^ Системной функцией стационарного линейного ЦФ называют отношение Z-преобразования выходного сигнала к Z-преобразованию сигнала на входе:

(39)

Соотношение (39) устанавливает, что системная функция представляет собой Z-преобразование импульсной характеристики. Для получения комплексной частотной характеристики фильтра из его системной функции достаточно в последней сделать подстановку .


2.10 Синтез линейных цифровых фильтров


Важное практическое значение имеют методы синтеза ЦФ, обеспечивающие заранее заданные свойства, например, требуемый вид импульсной или частотной характеристики.

Методы синтеза цифровых фильтров можно классифицировать по различным признакам: по типу получаемого фильтра (методы синтеза рекурсивных и нерекурсивных фильтров), по наличию аналогового прототипа (методы синтеза с использованием аналогового прототипа и прямые методы синтеза).

Исходными данными для прямых (без использования аналогового прототипа) методов синтеза служат какие-либо параметры фильтра (например, его АЧХ), которые могут задаваться произвольно. Прямой метод синтеза цифрового фильтра Баттерворта был описан в п. 2.7.

Рассмотрим способы синтеза, которые опираются на свойства аналоговых цепей, служащих модельными прототипами цифровых устройств [3, 4].


^ 2.10.1 Метод инвариантных импульсных характеристик


В основе этого простейшего метода синтеза ЦФ лежит предположение, что синтезируемый фильтр должен обладать импульсной характеристикой, которая является результатом дискретизации импульсной характеристики соответствующего аналогового фильтра-прототипа. Для физически реализуемых систем импульсная характеристика ЦФ примет вид:

(40)

Необходимо обратить внимание на то, что число элементов в выражении импульсной характеристики ЦФ может быть как конечным, так и бесконечным. Это определяет структуру синтезируемого фильтра: импульсной характеристике с конечным числом отсчетов соответствует нерекурсивный фильтр, в то время как для реализации неограниченно протяженной импульсной характеристики требуется рекурсивный фильтр.

В общем случае синтез структуры фильтра осуществляется путем применения Z-преобразования к последовательности (40). Найдя системную функцию фильтра и осуществив в ней замену переменной по формуле , следует сравнить ее с общим выражением для комплексной частотной характеристики рекурсивного или нерекурсивного фильтров для определения коэффициентов.

Степень приближения амплитудно-частотной характеристики синтезированного фильтра к характеристике аналогового прототипа зависит от выбранного шага дискретизации .

Пример. Осуществим синтез цифрового фильтра, подобного системе 1-го порядка (например, RC-цепи) с импульсной характеристикой вида

.

Рассмотрим случай, когда импульсная характеристика аналоговой цепи аппроксимируется бесконечной дискретной последовательностью:

. (41)

Выполнив Z-преобразование импульсной характеристики (41), получим системную функцию:



Комплексная частотная характеристика синтезируемого фильтра примет вид:

,

что соответствует рекурсивному фильтру 1-го порядка:



Синтезированный рекурсивный фильтр описывается разностным уравнением:





^ 2.10.2 Синтез цифрового фильтра на основе дискретизации

дифференциального уравнения аналоговой цепи


К структуре ЦФ, приближенно соответствующего известной аналоговой цепи, можно прийти, осуществив дискретизацию дифференциального уравнения, описывающего аналоговый прототип.

Как пример использования данного метода рассмотрим синтез ЦФ, соответствующего динамической системе 1-го порядка, для которой связь между выходным и входным сигналами устанавливается дифференциальным уравнением:

(42)

Выберем шаг дискретизации и рассмотрим совокупности дискретных отсчетов и . Если в выражении (42) производные заменить их конечно-разностными соотношениями, то дифференциальное уравнение преобразуется в разностное уравнение:

.

Перегруппировав слагаемые, получим уравнение

,


которое задает алгоритм рекурсивного фильтра 1-го порядка.

^ 2.10.3 Метод инвариантных частотных характеристик


Принципиально невозможно создать ЦФ, частотная характеристика которого в точности повторяла бы частотную характеристику некоторой аналоговой цепи. Причина состоит в том, что частотная характеристика ЦФ представляет собой периодическую функцию с периодом, определяемым шагом дискретизации (рисунок 19).





Рисунок 19 – Амплитудно-частотные характеристики фильтров:

а – аналогового; б – цифрового


Говоря о подобии частотных характеристик аналогового и цифрового фильтров, можно требовать лишь то, чтобы весь бесконечный интервал частот , относящихся к аналоговой системе, был преобразован в отрезок частот цифрового фильтра, удовлетворяющий неравенству при сохранении общего вида АЧХ.

Пусть – передаточная функция аналогового фильтра, задаваемая дробно-рациональным выражением по степеням комплексной переменной . Для синтеза фильтров низких частот широкое распространение получила подстановка вида

, (43)

где , .

Из выражения (43) вытекает соотношение между частотными переменными и аналоговой и цифровой систем:

. (44)

Если частота дискретизации достаточно велика , то из выражения (44) следует, что . Таким образом, на низких частотах характеристики аналогового и цифрового фильтров почти совпадают.

Практически процедура синтеза ЦФ состоит в том, что в функции аналоговой цепи выполняется замена переменной по формуле (43). Полученная при этом системная функция ЦФ оказывается дробно-рациональной, что позволяет непосредственно записать алгоритм цифровой фильтрации.

Пример. Синтезировать ЦФ с частотной характеристикой, подобной характеристике аналогового ФНЧ 1-го порядка типа Баттерворта. Частоту среза для ЦФ выбрать равной шаг дискретизации – .

Прежде всего определим частоту среза аналогового фильтра, подобного синтезируемому ЦФ:

.

Передаточная функция аналогового ФНЧ 1-го порядка типа Баттерворта имеет вид [2]:

. (45)

Выполнив в выражении (45) замену переменной вида (43), получим системную функцию, соответствующую рекурсивному фильтру 1-го порядка:

,

откуда легко идентифицируются коэффициенты фильтра:

.


^ 2.11 Контрольные вопросы по теме


1. Какие фильтры называются нерекурсивными, рекурсивными?

2. Что называют системной функцией цифрового фильтра?

3. Перечислите важнейшие свойства Z-преобразования.

4. Для каких цифровых фильтров необходима проверка на устойчивость?

5. В чем особенность прямых методов синтеза цифровых фильтров?

6. От чего зависит точность методов синтеза цифровых фильтров, использующих аналоговый прототип?


3 теория информации


^ 3.1 Основные понятия теории информации


Эффективная организация обмена информацией приобретает все большее значение, прежде всего, как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития производительных сил. В развитых странах доля рабочей силы, занятой вопросами обеспечения информацией, начинает превышать долю рабочей силы, занятой непосредственно в сфере производства. Применение методов и средств автоматизации на всех этапах обращения информации позволяет существенно повысить эффективность функционирования экономики страны и высвободить значительные трудовые ресурсы.

Комплексная автоматизация процессов восприятия, преобразования, передачи, обработки и отображения информации с целью принятия оптимальных управляющих воздействий осуществляется в рамках создания автоматизированных систем управления (АСУ) на различных уровнях – от предприятия до народного хозяйства в целом.

Основой решения многих теоретических проблем создания АСУ является теория информации, предоставляющая возможность для комплексного информационного рассмотрения сложных систем.

К теории информации в классической постановке относят решение ряда фундаментальных теоретических вопросов, касающихся повышения эффективности функционирования систем связи. Это в первую очередь [7, 8]:

- анализ сигналов как средства передачи сообщений, включающий вопросы оценки переносимого ими «количества информации»;

- анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.

Если задача связана с приложением теории в технике связи – рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют прикладной теорией информации.

Глобальной проблемой теории информации можно считать и разработку принципов оптимизации системы связи в целом. Сюда относят все локальные проблемы систем связи, например, проблему оптимального приема и др.

^ Этапы обращения информации. Хотя роль информации может ограничиваться неопределенным эмоциональным воздействием на человека, в чисто технических (автоматических) и человеко-машинных (автоматизированных) системах она чаще всего используется для выработки управляющих воздействий. При обращении информации в системах можно выделить отдельные этапы. Так как материальным носителем информации является сигнал, то реально это будут этапы обращения и преобразования сигналов.

На этапе восприятия информации осуществляется целенаправленное извлечение и анализ информации о каком-либо объекте (процессе), в результате чего формируется образ объекта, проводятся его опознание и оценка. При этом необходимо отделить интересующую в данном случае информацию от мешающей (шумов), что в ряде случаев связано со значительными трудностями. Простейшим видом восприятия является различение двух противоположных состояний – наличия («да») и отсутствия («нет»), более сложным – измерение.

На этапе подготовки информации проводятся такие операции, как нормирование, аналого-цифровое преобразование, шифрование. В результате восприятия и подготовки получается сигнал в форме, удобной для передачи или обработки.

На этапах передачи и хранения информация пересылается либо из одного места в другое, либо от одного момента времени до другого. Для передачи на расстояние используются каналы различной физической природы, самыми распространенными из которых являются электрические, электромагнитные и оптические. Для хранения информации используются в основном полупроводниковые и магнитные носители. Извлечение сигнала на выходе канала, подверженного действию шумов, носит характер вторичного восприятия.

На этапах обработки информации выявляются ее общие и существенные взаимозависимости, представляющие интерес для системы. Преобразование информации на этапе обработки (как и на других этапах) осуществляется либо средствами информационной техники, либо человеком. В системах управления важнейшей целью обработки является решение задачи выбора управляющих воздействий (этап принятия решения).

Этап отображения информации должен предшествовать этапам, связанным с участием человека. Цель этапа отображения – предоставить человеку нужную ему информацию с помощью устройств, способных воздействовать на его органы чувств.

На этапе воздействия информация используется для осуществления необходимых изменений в системе.

^ Понятие «информация». Информация наряду с материей и энергией является первичным понятием нашего мира и поэтому в строгом смысле не может быть определена. Однако можно перечислить ее основные свойства:

1. Информация приносит знания об окружающем мире, которых в рассматриваемой точке не было до получения информации.

2. Информация не материальна, но она проявляется в форме материальных носителей – дискретных знаков и сигналов или в форме функций времени.

3. Информация может быть заключена как в отдельных знаках, так и в их взаимном расположении. Например, знаки «т», «р», «с», «о» могут нести информацию «сорт», «рост», «трос», «торс», а знак «т» может быть информацией о троллейбусной остановке.

4. Знаки и сигналы несут информацию только для получателя, способного их распознать.

Распознавание состоит в отождествлении знаков и сигналов с объектами и их отношениями в реальном мире. Поэтому информацию можно определить как результат моделирования (описания) реального мира или его исследуемой части.

Знаками называют реальные, различимые получателем материальные объекты: буквы, цифры, предметы и т.д.

Сигналами называют динамические процессы, то есть процессы, изменяющиеся во времени, или колебания величины любой природы: напряжения, давления, электромагнитного поля и др. В теории информации понятия «знак» и «сигнал» часто взаимозаменяемы без ущерба однозначности.

Из знаков и сигналов строятся последовательности, называемые сообщениями. Текстовое сообщение состоит из последовательности графем, различающихся начертанием; цифровое сообщение – из последовательности нулей и единиц; сообщение по азбуке Морзе – из последовательности импульсов различной длительности (точка, тире). Элементарными сообщениями являются каждый из знаков или сигналов. Сообщения или их последовательность несут информацию получателю.

Множество всех знаков или сигналов называют алфавитом, из которого строятся сообщения.

Знаки чаще используют для хранения сообщения, сигналы – для переноса сообщений из одной точки пространства в другую. В этом случаи знакам однозначно сопоставляются сигналы. Правило, по которому производится сопоставление, называется правилом кодирования (кодом). Процесс сопоставления называется кодированием. Процесс, обратный выбранному кодированию, − декодированием.

^ 3.2 Количественная мера информации


Факт получения информации всегда связан с уменьшением неопределенности о состоянии источника информации.

Устройство, явление или причину, порождающие сообщения, удобно трактовать как источник информации, обладающий тем или иным алфавитом, который должен быть известен априори (до начала измерений или расчетов количества информации).

Рассмотрим источник информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. Каждому состоянию источника u ставится в соответствие условное обозначение в виде знака из алфавита данного источника: . Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем состояний U, то есть полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:



причем

Опираясь на эти сведения, можно рассматривать количественную меру информации (или меру неопределенности выбора состояния источника) как количество информации, получаемое при полном устранении неопределенности относительно состояния источника информации.

Мера информации должна удовлетворять ряду естественных условий:

  • должна возрастать с увеличением длительности сигнала, то есть с увеличением количества символов в дискретном сообщении или времени передачи в непрерывном сообщении (очевидно, чем длиннее телеграмма, тем больше информации в ней содержится);

  • должна возрастать с увеличением количества используемых элементов алфавита сообщения (сообщение о температуре воздуха в градусах «…-2 оС, -1 оС, 0 оС, 1 оС, 2 оС,…» более полно, чем сообщение «холодно» или «тепло»);

  • должна зависеть от статистических характеристик сигнала, то есть от статистических свойств появления элементов алфавита в эксперименте по наблюдению их в последовательности.

^ 3.3 Мера Хартли


В 1928 г. американский ученый Р. Хартли предложил в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа возможных состояний:



Для сигнала длиной в символов из алфавита, содержащего m элементов, число его возможных реализаций определяется как , откуда

(45)

При когда неопределенность отсутствует, формула Хартли (45) дает значение, равное нулю что соответствует интуитивным представлениям.

Основание логарифма в выражении (45) не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Но поскольку современная информационная техника базируется на элементах, имеющих два устойчивых состояния, обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей (битом) и представляет собой неопределенность выбора из двух равновероятных событий. Если основание логарифма выбрать равным десяти, то неопределенность получают в десятичных единицах на одно состояние (дит).


^ 3.4 Мера Шеннона


Предложенная Хартли мера количества информации не получила широкого применения, поскольку была рассчитана на слишком грубую модель источника информации, приписывающую всем его возможным состояниям одинаковую вероятность.

Необходимо было учесть, что степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности.

Мера неопределенности выбора состояния дискретным источником, позволяющая учесть статистические свойства источника информации, была предложена американским ученым К. Шенноном в 1948 г. Мера Шеннона является естественным обобщением меры Хартли на случай ансамбля с неравновероятными состояниями.

Рассмотрим источник информации, в котором может быть реализовано равновероятных состояний. Вероятность каждого из них будет равна:



и неопределенность по Хартли, приходящаяся на каждое состояние, выразится числом:



Теперь будем считать вероятности событий различными, а неопределенность, приходящуюся на одно конкретное состояние источника, характеризовать по аналогии величиной



Эта неопределенность представляет собой случайную величину, зависящую от того, какое состояние источника в действительности реализуется. Усреднив по всему ансамблю U состояний источника, можно найти неопределенность, приходящуюся в среднем на одно состояние:



Полученную величину Шеннон назвал энтропией и обозначил буквой

(46)

Таким образом, энтропия характеризует среднюю неопределенность выбора источником одного состояния из ансамбля состояний.

Рассмотрим в качестве элементарных символов источника информации буквы русского алфавита. Для достаточно большого отрывка текста можно просчитать относительные частоты появления различных букв и на их основе определить приближенные значения вероятностей употребления букв (таблица 1) [7].

Сравним энтропии источника информации (алфавита русского языка), рассчитанные по формулам Хартли и Шеннона.

При одинаковых вероятностях появления всех 32 букв алфавита неопределенность, приходящаяся на одну букву, составит

бит.


Таблица 1 – Значения вероятностей употребления букв

Буква

Вероят-ность


Буква

Вероятность

Буква

Вероятность

Буква

Вероят-ность

а

0,064

и

0,064

р

0,041

ш

0,006

б

0,015

й

0,010

с

0,047

щ

0,003

в

0,039

к

0,029

т

0,056

ъ, ь

0,015

г

0,014

л

0,036

у

0,021

ы

0,016

д

0,026

м

0,026

ф

0,020

э

0,003

е, ё

0,074

н

0,056

х

0,090

ю

0,007

ж

0,008

о

0,096

ц

0,040

я

0,019

з

0,015

п

0,024

ч

0,013

-

0,143


Энтропия источника, характеризуемого заданным ансамблем (см. таблицу 1), рассчитывается по формуле (39):

бит.

Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника примерно на 0,6 бит.


^ 3.5 Свойства энтропии


Энтропия характеризуется следующими основными свойствами:

1. Энтропия является вещественной и неотрицательной величиной, поскольку значения вероятностей изменяются в интервале от нуля до единицы, значения – отрицательны, и, следовательно, значения минус – неотрицательны.

2. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это положение соответствует случаю, когда состояние источника полностью определено.

3. Энтропия максимальна, когда все состояния источника равновероятны.

Для проверки справедливости последнего свойства рассмотрим источник информации с двумя состояниями и , вероятности выбора которых равны и .

Энтропия источника, согласно (46), будет определена как

.

Максимум энтропии будет иметь место, если выполнятся условия:

и .

Вычислим первую производную энтропии (в качестве основания логарифма выберем число ):

.

Приравняв производную к нулю, получим:

.

Проверим знак второй производной:



Таким образом, максимальное значение энтропии достижимо только в случае равновероятных состояний:

и

и равно бит.

График зависимости энтропии от вероятности элементарного (двоичного) события приведен на рисунке 20.





Рисунок 20 – Энтропия источника с двумя состояниями

^ 3.6 Контрольные вопросы по теме


1. Что называют ансамблем состояния источника информации?

2. Что характеризует энтропия источника информации?

3. В чем отличие между моделями источника информации по Хартли и Шеннону?

4. Перечислите свойства энтропии источника информации.


4 Передача информации по каналам связи


Опираясь на формализованное описание сигналов и введенную меру количества информации, рассмотрим информационные характеристики источников сообщений и каналов связи, позволяющие установить пути повышения эффективности систем передачи информации, и, в частности, определить условия, при которых можно достигнуть максимальной скорости передачи сообщений по каналу связи как в отсутствие, так и при наличии помех.

Под каналом связи понимают совокупность средств и физических сред, обеспечивающих передачу сообщений из одного места в другое (или от одного момента времени до другого). Если канал используется для передачи дискретных сообщений, он называется дискретным каналом. Непрерывным называют канал, предназначенный для передачи непрерывных сообщений. Непрерывные сообщения путем дискретизации и квантования всегда можно преобразовать в дискретные и, таким образом, перейти от непрерывного канала к дискретному.

Если вредным действием помех в канале можно пренебречь, то для анализа его работы используется модель в виде идеализированного канала, называемого каналом без помех. В идеальном канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот.

Когда требования к достоверности велики и пренебрежение неоднозначностью связи между входными и выходными сообщениями недопустимо, используется более сложная модель – канал с помехами.

Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом, например, для запроса повторной передачи в случае обнаружения ошибки, называют каналом с обратной связью.


4.1 Избыточность


Следствием ограничений на выбор источников знаков является их недоиспользование как переносчиков информации. При равновероятном и некоррелированном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема. В связи с этим говорят об избыточности алфавита источника сообщений или просто об избыточности источника.

Мерой избыточности служит величина D, показывающая, насколько хорошо используются знаки данного источника:

, (47)

где – максимально возможная энтропия источника;

– реальная энтропия источника.

Если избыточность источника равна нулю, то формируемые им сообщения оптимальны в смысле наибольшего количества переносимой информации. В этом случаи для передачи определенного количества информации при отсутствии помех понадобится знаков.

Поскольку энтропия сообщений, формируемых реальным источником, обладающим избыточностью, меньше максимально возможной , то для передачи того же количества информации знаков потребуется больше, а именно: Поэтому говорят также об избыточности знаков в сообщении или просто об избыточности сообщения, характеризуя ее тем же параметром :

(48)

Избыточность нельзя рассматривать как признак несовершенства источника сообщения. Обычно она является следствием его физических свойств. Ограничения, существующие в любом естественном языке, связаны, например, с особенностями артикуляции, не позволяющими формировать слова, состоящие из произвольных сочетаний букв.

Последствия от наличия избыточности сообщений не однозначны. С одной стороны, избыточные сообщения требуют дополнительных затрат на передачу (увеличение длительности передачи), что нежелательно. С другой стороны, при использовании сообщений, подчиняющихся определенным ограничениям, появляется возможность обнаружения и исправления ошибок, которые приводят к нарушению этих ограничений. Следовательно, наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность большинства естественных языков обеспечивает, например, надежное общение людей даже при наличии у них акцентов и дефектов речи.

Однако при обмене информацией в автоматических системах естественная избыточность подлежит устранению. Это объясняется тем, что алгоритмы обнаружения и исправления ошибок, базирующиеся на статистических закономерностях функционирования источника, оказываются слишком сложными для реализации их техническими средствами. При низком уровне помех в канале связи устранение избыточности приводит к увеличению скорости передачи информации и может дать значительный экономический эффект.


^ 4.2 Дискретный канал передачи без помех


Дискретный канал передачи состоит из линии связи, модулятора и демодулятора, кодера и декодера, а также передающего и принимающего устройств (рисунок 21). Такие каналы широко используются, например, при передаче данных в телеграфии и радиолокации.

На вход канала поступают дискретные сообщения , а выходом являются сообщения , направляемые адресату. Сообщения , состоящие из последовательности знаков (букв) алфавита источника сообщений (первичного алфавита) , преобразуются в кодирующем устройстве в последовательность символов (вторичный алфавит). Объем m алфавита символов, как правило, меньше объема n алфавита знаков, но они могут и совпадать.




КУ – кодирующее устройство; М – модулятор; П – передатчик;
ЛС – линия связи; Пр – приемник; Дм – демодулятор;
ДУ – декодирующее устройство


Рисунок 21 – Дискретный канал связи


Введенные ранее понятия энтропии и количества информации можно применить к данному каналу передачи для определенных условий, при которых канал будет использоваться наилучшим образом. Под наилучшим использованием понимают передачу через канал наибольшего количества информации в единицу времени.

Если в информационной системе отсутствуют помехи, то как бы ни кодировалась информация потери ее не будет. Однако это не означает отсутствие проблем в принципе. Во многих случаях существует заинтересованность не только в безошибочном представлении информации, но и в ее экономном представлении. Если, например, производится запись информации в запоминающее устройство, то важно, чтобы занималось минимальное количество ячеек памяти; при передаче информации желательно занимать канал связи на минимальный срок и т.д.


^ 4.3 Информационные характеристики дискретного канала

связи


Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.

Под технической скоростью передачи понимают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Эта величина зависит от свойств линий связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов эта величина равна:

, (49)

где – среднее значение длительности символа.

При одинаковой продолжительности всех передаваемых символов

Единицей измерения технической скорости служит бод (символ/сек) – скорость, при которой за одну секунду передается один символ.

Информационная скорость, или скорость передачи информации, определяется средним количеством информации, которое передается по каналу в единицу времени. Данная величина зависит как от характеристик канала связи (объем алфавита используемых символов, техническая скорость их передачи), так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной технической скорости передачи скорость передачи информации задается соотношением:

, (50)

где – среднее количество информации, переносимое одним символом (энтропия).

Единицей измерения информационной скорости является бит в секунду (бит/сек).

Для теории и практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала равна максимальной скорости передачи информации по данному каналу, которой можно достичь при самых совершенных способах передачи и приема:

(51)

Пропускная способность канала, как и скорость передачи информации, измеряется числом двоичных единиц в секунду (бит/с).

Согласно (51), при заданном алфавите символов и фиксированных основных характеристиках канала (полосе частот, средней и пиковой мощности передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, то есть обеспечить максимальное значение .

Для увеличения скорости передачи информации по дискретному каналу передачи без помех и приближения ее к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодирующем устройстве, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Именно это условие соответствует достижению максимума энтропии в выражении (51).


^ 4.4 Эффективное кодирование


С точки зрения теории информации кодирование представляет собой процесс сопоставления элементов алфавита сообщения (знаков, букв) цифрам. Правило сопоставления называется кодом. Цифры, сопоставленные элементам алфавита, называются кодовыми словами.

В зависимости от системы счисления, положенной в основу образования кодовых слов, различают кодирование бинарное, триарное, тетрарное и т.д. В первом случае элементы алфавита сопоставляются бинарным числам, составленным из нулей и единиц. Число различных элементов кода называется его основанием. Число элементов кода, используемое для представления одного элемента алфавита, называется значностью кода. Если значность одинакова для всех элементов алфавита, код называется равномерным.

При технической реализации кода каждому элементу кода сопоставляется физический элемент – импульс напряжения, тока или другой величины. Импульсы различных элементов должны быть различимы техническими средствами.

Задачи кодирования при отсутствии и при наличии помех в канале связи существенно различны. В первом случае ставится задача добиться представления элементов алфавита источника при минимальной значности кода, то есть минимальным числом элементов кода в среднем на букву алфавита. Во втором случае ставится задача снижения вероятности ошибок в передаче элементов алфавита.

Эффективным (или оптимальным) кодированием называется такое представление сообщений в форме, удобной для передачи по данному каналу, при котором путем устранения избыточности существенно снижается среднее число символов, требующихся для выражения одного знака сообщения. При отсутствии помех в канале это позволяет уменьшить время передачи или объем запоминающего устройства. При наличии помех оптимальное кодирование позволяет преобразовать входную информацию в последовательность символов, наилучшим образом (в смысле максимального сжатия) подготовленную для дальнейших преобразований.

Эффективное кодирование сообщений для их передачи по дискретному каналу без помех базируется на теореме Шеннона: если источник сообщений имеет энтропию (бит/знак), а канал связи обладает пропускной способностью С (бит/сек), то:

 сообщения, вырабатываемые источником, всегда можно закодировать таким образом, чтобы скорость их передачи была сколь угодно близкой к величине:

(знак/сек); (52)

 не существует способа кодирования, обеспечивающего передачу сообщений со скоростью большей, чем .

Пример. Путь пропускная способность канала связи равна (бит/сек), а ансамбль возможных сообщений содержит четыре независимых знака с соответствующими вероятностями появления

Рассчитаем энтропию источника сообщения по Шеннону:

бит.

Максимально возможное значение энтропии (при равновероятных знаках) равно:

бит.

Таким образом, избыточность источника сообщений отлична от нуля:



В качестве вторичного алфавита выберем два символа 0 и 1 и закодируем знаки сообщения следующим образом:



Учитывая значение пропускной способности канала, можно утверждать, что по данному каналу сообщение будет передаваться со скоростью (знак/сек).

Однако согласно теореме Шеннона скорость передачи должна быть равной

(знак/сек).

Рассчитаем для выбранного нами кода вероятности появления символов 0 и 1.

В последовательности из букв элемент ^ 0 будет встречаться

раз,

а элемент 1

раз.

Вероятности появления соответствующих символов будут равны:



Поскольку вероятности различны , то тем самым не обеспечивается равновероятное и независимое поступление символов на вход канала, что соответствовало бы полному устранению избыточности в передаваемом сообщении. Следовательно, выбранный нами код не является оптимальным.

Теорема Шеннона не указывает конкретного способа кодирования сообщения, но из нее следует, что при выборе каждого символа кодовой комбинации необходимо добиваться того, чтобы он нес максимальное количество информации.




оставить комментарий
страница3/5
Дата02.10.2011
Размер0,81 Mb.
ТипКонспект, Образовательные материалы
Добавить документ в свой блог или на сайт

страницы: 1   2   3   4   5
отлично
  3
Ваша оценка:
Разместите кнопку на своём сайте или блоге:
rudocs.exdat.com

Загрузка...
База данных защищена авторским правом ©exdat 2000-2017
При копировании материала укажите ссылку
обратиться к администрации
Анализ
Справочники
Сценарии
Рефераты
Курсовые работы
Авторефераты
Программы
Методички
Документы
Понятия

опубликовать
Загрузка...
Документы

наверх