Источники сообщений

В зависимости от формы создаваемых сообщений различают источники дискретных и непрерывных (аналоговых) сообщений.

Дискретный источник формирует сообщение в виде случайных последовательных символов (статистически не связанных элементов сообщения) из фиксированного алфавита х= {х^ х2, ..., хп} — алфавита источника. Сообщение приобретает смысл — несет в себе определенную информацию только тогда, когда состояние наблюдаемого объекта заранее не известно потребителю, а следовательно, получаемое им сообщение случайно. Совокупность всех возможных состояний и вероятностей их появлений образует ансамбль сообщений.

Таким образом, дискретный источник информации характеризуется определенным ансамблем состояний:

или

П П

причем ^ Р(х,) = 1 или ^ Pj = 1.

i=l i=l

Принимая сообщение о каком-либо событии, мы получаем дополнительную информацию и меняем свои знания о нем. Определить, сколько информации содержится в сообщении, довольно сложно, поскольку одно и то же сообщение несет разную информацию потребителям — для одного ее будет много, для другого — мало.

Количество информации в сообщении определяется системой, не связанной с его конкретным содержанием, а отображающей лишь степень «неожиданности» (неопределенности), т.е. его вероятности. Маловероятное сообщение является неожиданным и поэтому содержит много информации, и наоборот.

Количество информации в отдельно взятом сообщении определяется величиной, обратной вероятности сообщения, вычисленной в логарифмических единицах:

где Р(х) — вероятность сообщения х; а — основание логарифма.

При а = 2 количество информации, содержащейся в сообщении, выражается в двоичных единицах:

При Р(х) = 1 количество информации Н(х) равно 0, т.е. сообщение об известном событии информацию не несет. Количество информации, содержащейся в небольших независимых сообщениях, равно сумме количества информации в каждом из них. Это соответствует представлениям об увеличении количества информации при получении дополнительных сообщений.

Если ансамбль состоит из двух сообщений X! и х2 вида да или нет или 0 или 1, которые являются независимыми и равновероятными, т.е. Р(х,) = Р(х2) = 0,5, то каждое сообщение несет двоичную единицу информации, которую принято называть битом:

Для оценки информационных свойств сообщения в целом вводится среднее количество информации, приходящееся на одно сообщение, — энтропия источника сообщений. Энтропия источника определяется как математическое ожидание количества информации

Выражение (3.1) справедливо для источника с независимыми сообщениями.

Таким образом, энтропия источника определяется не только числом его возможных состояний, но и их вероятностями. Энтропия Н(х) должна быть непрерывной функцией вероятностей состояний Р(х,), Р(х2), ..., Р(хп) (функционалом распределения вероятностей). При этом не важно, какие именно значения имеют хь х2, ..., хп, важны только количество этих значений и их вероятности, поскольку энтропия связывается только с фактом выбора, а не с множеством конкретных значений наблюдаемых явлений. Если же все Р, равны Р; = —, то Н(х) долж-

п

на быть монотонно возрастающей функцией от п.

Непрерывный источник характеризуется одномерной плотностью распределения случайной величины х - Р(х).

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >