Информация и регулирование в биологических системах

Информация и живой организм

Элементы теории информации

Теория информации представляет собой совокупность математических концепций, которые позволяют оценить количество информации, содержащейся в том или ином сообщении, определить пропускную способность каналов связи, используемых для передачи сигналов, количественно сопоставить эффективность применяемых систем кодирования для выбора лучшей из них. Эта теория возникла в ходе решения важнейших практических задач электросвязи на математической основе, и первый фундаментальный труд К. Шеннона, основоположника теории информации, увидел свет под названием «Математическая теория связи» (1948). В статье предлагался принципиально новый способ обобщения человеческого опыта в передаче сообщений. Теория информации - математическая концепция, но её основные идеи можно выразить без использования сложного математического аппарата.

В обиходе широко употребляется слово «информация», причём в разных значениях. Зачастую его адресуют непосредственно сообщению, порой даже отождествляют сообщение и информацию. В научном же определении информации должна содержаться характеристика не сообщения как такового, а процесса взаимодействия между сообщением и его получателем. Поэтому информативность сообщения нельзя оценивать количеством единиц носителя информации (например, числом слов в докладе или букв в книге). Информативно только такое сообщение, которое приносит что-то неизвестное ранее, в чем нуждается тот, кому оно адресовано. С учётом этого

К. Шеннон предложил определение информации, которое поставлено во главу угла теории информации.

Информация, содержащаяся в сообщении, есть мера того количества неопределенности, которое ликвидируется после получения данного сообщения.

Из определения следует, что количество информации, полученной человеком, следует оценивать степенью уменьшения неопределенности в его сведениях об информируемом событии. В свою очередь, неопределенность того или иного результата разрешения неопределённой ситуации тем больше, чем меньше его вероятность. Заметим, что в теории информации принято различать априорную (рх) и апостериорную (р2) вероятности. Априорной называют такую вероятность сообщаемого события, которой оно характеризовалось до получения сообщения. Вероятность события, установившаяся после получения сообщения о нем, называется апостериорной вероятностью.

Если содержание получаемого сообщения было заведомо точно известно его адресату, то априорная вероятность события, информацию о котором несло сообщение, равнялась единице х = 1), и такое сообщение абсолютно не информативно (J = 0). Нулевой считается избыточная и повторная информация, а также всё, что содержится в сообщениях, не имеющих отношения к достижению цели, ради которой адресат стремился получить информацию. Ценность информации принимает отрицательное значение, когда она имеет характер дезинформации.

При рх < 1 сообщение содержит информацию, но только при условии, что после его получения повысится вероятность события, о котором информируют, т.е. когда апостериорная вероятность станет больше априорной 2 > рх). Например, до получения сообщения вероятность события, о котором нас информируют, равнялась 1/8 х = 1/8), а после приёма сообщения значение вероятности достигло 1/2 2 = 1/2). В таком случае сообщение повысило вероятность грядущего события и уменьшило неопределённость в наших знаниях о нём. Следовательно, сообщение оказалось информативным. Информация максимальна, если при данной априорной вероятности, меньшей единицы, апостериорная вероятность (после получения сообщения) достигает единицы.

Понятия максимума и минимума информации определяются не столько абсолютными значениями рх и р2, сколько их соотношением, которое само по себе может служить мерой информативности сообщения. Однако для количественной оценки информационных процессов удобнее пользоваться логарифмом отношения р2х. Основание логарифмов выбирается в соответствии с выбором единицы измерения информации и зависит от структуры линии связи {информационного канала). Нередко человек приобретает информацию путем совершения последовательных шагов двоичного выбора, т.е. выбирает одно из двух возможных решений, давая ответы «да» или «нет». Аналогичный путь реализуется в технике при помощи двухпозиционных переключателей (реле или мультивибраторов): в одном положении они пропускают сигнал («да»), в другом - блокируют его передачу («нет»). Такому переключателю можно уподобить нейрон, когда он проводит нервные импульсы. Если в результате суммирования всех постсинаптических потенциалов устанавливается пороговая или надпороговая деполяризация мембраны в начальном участке аксона (аксонном холмике), возникает импульсация, направляющаяся к другому нейрону или к исполнительному органу, неся сигнал для их возбуждения («да»). Когда же интегрирование постсинаптических потенциалов приводит к гиперполяризации или подпороговой деполяризации мембраны аксонного холмика, передача импульсации блокируется («нет»).

Рассмотренные системы передачи сообщений называются двоичными. В них информация оценивается двоичным логарифмом отношения р2х: J = log2 —. Если сообщение исчерпывает всю неоп-

Р

ределённость ситуации, то р2 = 1. Именно такие сообщения наиболее информативны (при данном pt). Для них упрощается расчёт количества принесенной информации: J = og2-— =-log 2 рх.

Рх

При использовании логарифмов с основанием, равным двум, единицей измерения информации служит бит. Этот термин произошёл от английского словосочетания binary digit - двоичная единица (от первого слова взяты две первые буквы, от второго - одна последняя). 1 бит количественно характеризует такую информацию, которая полностью ликвидирует неопределённость выбора между двумя равновероятными возможностями, т.е. в условиях, когда р{ = 1/2, а/?2 = 1.

Для уяснения смысла введенных понятий обратимся к примерам. Предположим, что идем по дороге к определённой цели. В каком-то месте дорога делится на две, расходящиеся в разные стороны, причём мы не знаем, какая из них ведет к цели. Очевидно, априорная вероятность правильного выбора составляет 1/2 х = 1/2). Если повстречается знающий человек и точно укажет дальнейший путь к цели нашего путешествия, то апостериорная вероятность достижения цели станет равной единице 2 = 1). Информативность такого

сообщения J = — log 2 рх =-log2 i =1 бит.

Может случиться так, что повстречавшийся человек на вопрос о пути к цели нашего путешествия даст такой ответ: «Не знаю, но этот путь не приведет вас к цели» - и укажет на одну из двух расходящихся дорог. Информативность подобного сообщения также оценивается в 1 бит, поскольку и оно при априорной вероятности, равной 1/2, приводит к р2 = 1. Следовательно, независимо от конкретной формы ответа, любое сообщение, полностью устраняющее неопределённость выбора из двух равновероятных возможностей, содержит информацию в 1 бит.

Предположим теперь, что дорога, по которой мы шли, разделилась не на 2, а на 8 путей, уходящих в разные стороны. В таком случае априорная вероятность правильного выбора пути составляет 1/8 , = 1/8) и, следовательно, сообщение, определённо указывающее путь к цели и тем самым позволяющее сделать правильный выбор одной из восьми дорог, приносит нам больше информации по сравнению с теми же словами в первом примере. Выразим эту информацию в битах: J =-log2 - = 3 бит. Таким образом, одна и та же фраза 8

в разных ситуациях (при неодинаковых значениях рх), заключает в себе разное количество информации. Если в обоих случаях р2 = 1, то эта фраза во второй ситуации оказывается в 3 раза информативнее, чем в первой.

Какова же во второй ситуации информативность другого ответа, который отвергает одну из дорог, не приводящих нас к цели (когда неопределенность выбора только уменьшается, но не устраняется)? Обратимся к величинам априорной и апостериорной вероятностей:

р, = 7/8,рг = 6/7. Отсюда У = log, = log, — = 0,03 бит.

2 7-7 2 49

Итак, в первой ситуации (при выборе одной из двух дорог) разные по содержанию сообщения одинаково информативны - каждое приносит информацию в 1 бит. При выборе одного из восьми путей информативность двух разных сообщений существенно различна: указание на путь, приводящий к цели, содержит информацию в 3 бита, тогда как устранение одной из возможных ошибок - только 0,03 бита. Следовательно, разница в содержании информации достигает двух порядков.

Важным понятием теории информации является сообщение. Так называется любая функция от времени a(t), описывающая характер сигналов, приходящих к получателю информации. В системах электросвязи сообщение заключается в определённой форме электрического тока (или напряжения) на выходе кодирующего устройства. В нервных каналах связи сообщениями служат последовательности нервных импульсов, в которых отображены сигналы о среде или состоянии организма.

Для оценки эффективности работы канала связи принято рассчитывать среднее количество информации, приходящееся на одно сообщение, передаваемое каналом за определённое время. Среднее количество информации, приходящееся на одно сообщение, названо К. Шенноном информационной энтропией (Я). Для расчёта информационной энтропии предложена следующая формула:

где M - количество сообщений, переданных данным каналом связи, р{ - априорные вероятности каждого из М сообщений (в данном случае апостериорная вероятность принимается равной единице).

Информационная энтропия возрастает по мере того, как увеличивается количество сообщений (М), из которых получатель информации делает выбор. Наивысшее из всех возможных значений энтропии сообщения, переданного по каналу связи, называется пропускной способностью этого канала. Зная величину информационной энтропии источника сообщений, можно найти минимальное значение среднего количества двоичных чисел на каждое сообщение, достаточного для надёжного кодирования сигналов, создаваемых данным источником.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ   ОРИГИНАЛ   След >