Меры количества информации

Теория информации изучает основные закономерности получения, передачи, хранения и обработки информации. Для этого необходимо определить, какими способами можно измерять информацию и в каких единицах.

Информационные меры, как правило, рассматриваются в трех аспектах: структурном, статистическом и семантическом.

В структурном аспекте рассматривается строение массивов информации и их измерение простым подсчетом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

При статистическом подходе используется понятие энтропии как меры неопределенности, учитывающей вероятность появления и информативность того или иного сообщения. Статистический подход учитывает конкретные условия применения информационных систем.

Семантический подход позволяет выделить полезность или ценность информационного сообщения.

Структурные меры информации

Информация всегда представляется в виде сообщений. Элементарная единица сообщений - символ. Символы, собранные в группу, называется словом. Сообщение, оформленное в виде слова или отдельных символов, всегда передается в материально-энергетической форме (электрической, световой, звуковой И Т.Д.).

Структурные меры учитывают только дискретное строение информации. В структурной теории различают геометрическую, комбинаторную и аддитивную меры.

Геометрическая мера. Предполагается измерение параметра геометрической модели информационного сообщения (длины, площади, объема и т.п.) в дискретных единицах. Например, геометрической моделью информации в виде одноразрядного двоичного слова, принимающего значение 0 или 1, может быть линия единичной длины (рис 3.2,а), двухразрядного слова - квадрат (рис. 3.2,6), трехразрядное слово - куб (рис 3.2,в).

Геометрическая мера

Рис.3.2. Геометрическая мера

Максимально возможное количество различных сообщений в заданных структурах отражает информационную емкость модели (системы), которая определяется как сумма дискретных значений по всем измерениям (координатам) - 2,4,8 и т.д.

Комбинаторная мера. В комбинаторной мере количество информации вычисляется как количество различных комбинаций элементов, содержащихся в сообщении.

Во многих случаях дискретное сообщение можно рассматривать как слово, состоящее из некоторого количества элементов п, заданных алфавитом, состоящим из т элементов - букв, цифр или символов.

Определим количество различных сообщений, которые можно образовать с помощью заданного алфавита. Если сообщение состоит из двух элементов (п = 2), то всего может быть образовано т2 различных сообщений.

Например, с помощью десяти цифр 0, 1,9 = 10) может быть образовано 100 различных чисел от 00 до 99. Если количество элементов сообщения равно трем, то количество различных сообщений будет равно т3 и т.д.

Таким образом, при использовании алфавита из m символов и количестве элементов в сообщении п число возможных различных сообщений L определится как:

L = mn. (3.1)

Чем больше L, тем большее количество возможных различных сообщений может быть передано источником. Поэтому величина L может быть принята в качестве меры количества информации. Однако выбор L в качестве меры количества информации связан с некоторыми неудобствами. Так, при п = 0 фактически никакое сообщение не передается и количество передаваемой информации равно нулю, однако мера L = m° = 1.

Выбор L в качестве меры информации неудобен еще и тем, что при сложении количества информации от нескольких независимых источников сообщений не выполняется условие линейного сложения количеств информации, т.е. условие аддитивности. Действительно, если при заданном алфавите первый источник характеризуется мерой L = тп{ различных сообщениями, а второй - L2= тп2, то общее число различных сообщений, полученных приёмником одновременно от двух источников, определится произведением:

L = Lj L2п1тп2= тп1+п2. (3.2)

Для к различных источников общее число возможных различных сообщений

L = L/L2...L,. (3.3)

Рассмотренные свойства комбинаторной меры не совсем удобны при её практическом использовании и поэтому мера применяется достаточно редко.

В 1928 г. американский ученый Р.Хартли предложил для определения количества информации аддитивную меру, которая получила широкое распространение на практике.

Аддитивная мера (мера Хартли). Хартли ввел логарифмическую меру количества информации, позволяющую оценивать количество информации, содержащейся в сообщении, логарифмом числа всевозможных сообщений:

I = LogaL, (3.4)

где а - основание логарифма.

Согласно (3.4), при L = 1;1 = 0, т.е. при отсутствии сообщения количество информация равно нулю. При использовании (3.1) и (3.4) получим

I = LogaL = Loga тп = п Log а т. (3.5)

С увеличением числа элементов п в сообщении пропорционально возрастает количество информации I.

Таким образом, логарифмическая мера обладает аддитивностью в отношении количества элементов сообщения. Если общее число источников информации равно к, то количество информации, передаваемой всеми источниками, определяется по выражению

I =Loga xLk) =Loga Lt+LogaL2+... +LogaLk, (3.6)

I = h+I2+...+Ik. (3.7)

Таким образом, логарифмическая мера обладает аддитивностью по отношению к количеству элементов сообщения и по отношению к количеству источников сообщений.

Какие же единицы используются для определения количества информации для аддитивной меры? Эти единицы зависят от того, какое основание а используется в логарифме. В частности:

При а = 2 Ib= Log? L (Log2, - двоичный логарифм), при этом количество информации Id измеряется в битах;

При а = е In = Log(, L (Logc - натуральный логарифм), при этом количество информации 1п измеряется в нитах;

При а = 10 Zd=Lg L (Lg = Log,io - десятичный логарифм), при этом количество информации Id измеряется в дитах.

Обычно пользуются двоичными логарифмами, что согласуется с представлением информации в ЭВМ.

Пример. Сообщения передаются 5-разрядным двоичным кодом. Определить количество информации, передаваемо! одним сообщением.

Всего можно передать L = 25 = 32 различных сообщений. Количество информации в одном сообщении определяется как

Ib = Log2 L = Log2 25 = 5 Log2 2 = 5 бит.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >