Вероятностная оценка количества информации

Практически сообщение передается от источника к приемнику в материально-энергетической форме, например в форме электрического, звукового или иного сигнала.

Количеством информации называют числовую характеристику сигнала, которая не зависит от его формы и содержания и характеризует степень неопределенности, которая исчезает после выбора (получения) сообщения в виде данного сигнала.

В реальной жизни часто приходится иметь дело с явлениями или событиями, точный результат осуществления которых непредсказуем — погода на завтра, время ожидания автобуса на остановке, цвет шара, вынимаемого из урны, сторона монеты, упавшей после подбрасывания, и т.д. Число возможных вариантов результата для каждой из ситуаций может быть велико и точно не определено. Идеализированную модель такого рода ситуации называют опытом, а возможный вариант результата опыта — исходом.

Поскольку число возможных исходов опыта в общем случае велико, то определить точно результат опыта заранее невозможно, т.е. с проведением опыта связана некоторая неопределенность. Действительно, в опыте с двумя шарами разного цвета (например, черного и белого), находящимися в урне, цвет вынутого шара заранее предсказать нельзя. Ни один из вероятных исходов не имеет преимуществ перед другим. Тогда говорят, что исходы равновозможны или равновероятны.

Определим вероятность как число, характеризующее меру потенциальной возможности осуществления.

В опыте с двумя шарами вероятность каждого исхода рч = рб = 1/2. Если число шаров разного цвета в урне сделать равным п, то вероятность выбора шара конкретного цвета р, = 1/п.

Впервые количественную оценку неопределенности ввел в 1928 г. американский ученый Р. Хартли для опыта Хсн различными исходами:

где X — информативный параметр сигнала;

к — коэффициент пропорциональности; п — число возможных выборов (исходов); а — основание логарифма.

Для получения количественной оценки энтропии обычно используют основание логарифма а, равное двум. Полученная при этом единица измерения количества информации называется битом (bit — binary digit).

Если принять k = 1 и опустить а, то формула (2.1) примет вид:

Однако в оценке Р. Хартли не учтены вероятности различных исходов. К. Шеннон ограничил рамки применимости оценки Р. Хартли случаем, когда все п исходов в опыте X равновероятны (р = 1/п), а затем применил формулу к разновероятным исходам, усреднив полученные неопределенности по всем исходам.

Для опыта X = {хь х2, ..., х„}, где хь х2, ..., хп — возможные исходы с вероятностями рь р2, ..., рп, неопределенность каждого исхода равна -log pb -log р2, ..., -log рп, а математическое ожидание дает количественную оценку неопределенности — энтропию:

Интуитивно ощущается связь между заключенной в опыте неопределенностью и информацией об исходе — чем больше изначальная неопределенность исхода, тем больше информации о его фактическом наступлении, т.е. понятие энтропии тесно связано с понятием количества информации, под которым понимается мера устранения неопределенности в процессе получения сигнала адресатом. Например, если априорно ситуацию описать энтропией Нь то после получения сигнала энтропия должна уменьшиться до Н2. Количество информации, полученное адресатом, равно I = Н[ - Н2. Если неопределенность снята полностью (Н2 = 0), то I = И,.

Рассмотрим притер расчета количества информации в опыте, вероятности исходов которого различны. Так, если в урне из десяти шаров один черный, а остальные — белые, то вероятность выбора черного шара рч = 1/10 и количество информации о том, что выбран именно он, равно

в то время как для белого шара

Количество информации тем больше, чем больше свободы в выборе сообщения, т.е. чем более неопределенно или менее вероятно передаваемое сообщение.

Энтропия заранее известного сигнала (значение его информативного параметра априорно известно) равна нулю. Формула для энтропии в этом случае будет состоять из слагаемых только двух видов: либо 1 log 1 для заранее известного сигнала, либо О-log 0, так как вероятность появления всех других равна нулю.

Так как 1 -log 1 = 0 и lim(xlogx) = 0, то энтропия заранее извест-

х->0

ного сигнала равна нулю.

Связь «энтропия — информация»

Энтропия есть мера недостатка информации. Ее величина тем больше, чем более вероятно рассматриваемое состояние. В то же время информации тем больше, чем менее вероятно передаваемое сообщение.

Энтропия Н достигает максимального значения, когда вероятности появления возможных значений информативного параметра сигнала одинаковы, т.е. при равенстве всех р; (Р[= 1/п) соотношение (2.3) обращается в формулу Хартли (2.2):

Пример 1. Определить количество информации в опыте с 10 шарами

(1 черный и 9 белых).

Вероятность исхода с черным шаром рч = ~ >а с белым — pG = —.

Тогда Н=—log,-+ —log—^— = 0,469бит.

10 2 1/10 10 9/10

Опыт показал, что количество информации оказалось меньше, чем в опыте с двумя равновероятными исходами.

Пример 2. Если в тексте на русском языке, алфавит которого содержит 33 буквы и пробел, появление всех символов считать равновероятным, то вероятность появления каждого из них равна V34 и количество информации, связанное с появлением каждого символа, составит

При разных вероятностях количество информации, приходящейся на одну букву, равно

При двоичном кодировании количество информации на один символ Н = log22 = 1 бит. Таким образом, количество информации в битах, заключенной в двоичном слове, равно длине самого слова.

Количественная оценка информации используется:

  • ? при передаче информации па расстояние для определения пропускной способности канала связи',
  • ? для определения количества информации, которую человек способен воспринимать, удерживать в памяти и перерабатывать в течение определенного времени, откуда вытекает важность дозировки учебной информации;
  • ? для расчета объема оперативной памяти ЭВМ, чтобы оценить возможности машины при решении сложных задач.
 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >