Rod.Kom - портал хороших родителей

Все сообщения можно свести к двоичным, а так как в каждом двоичном сообщении содержится одна двоичная единица информации, то число двоичных единиц в любом сообщении может быть определено по числу содержащихся в нем двоичных вопросов. Двоичный вопрос требует лишь одного из двух возможных ответов: да или нет. Но на каждый вопрос, кроме категоричного ответа да или нет, может быть дан и статистический ответ. Например, па вопрос будет ли завтра дождь можно ответить нет или 10 шансов из 100 за то, что дождь будет или да или 90 шансов из 100 за то, что дождь будет.

Эти лары ответов почти эквивалентны, но статистический ответ более правилен, так как учитывает вероятность того или иного события.

В категоричном ответе больше информации, чем в статистическом, так как в последнем имеется неопределенность. В ответе 10 шансов из 100 больше неопределенности, чем в ответе 90 шансов из 100. Таким образом, статистический ответ содержит столько же информации, сколько и категоричный, за вычетом неопределенности.

Чем выше вероятность данного события, тем меньше неопределенность. Если говорить, что вероятность равна 0,99 (т. е. 99. шансов из 100) то неопределенность составляет всего лишь 1% (1,0-0,99 = 0,01). Если вероятность равна единице, то неопределенности не существует.

Получение сообщения означает ликвидацию неопределенности: чем больше была неопределенность, тем больше получено информации в результате ее ликвидации. Действительно, если хороший лечебный эффект какого-либо лекарства оценивается в одном случае вероятностью 0,2, в другом случае 0,9, то, получив сообщение о том, что в результате приема этого лекарства больному стало лучше, мы в первом случае получаем значительно больше информации, чем во втором.

Для двух равновероятных событий (вероятности их равны 0,5 и 0,5) единичный выбор означает, что вероятность одного из событий становится равной единице, а второго 0. В этом случае получена одна двоичная единица информации.