СОДЕРЖАТЕЛЬНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ.

При содержательном подходе информацию рассматривают как знания, которыми обладает человек:

До поступления некоторой информации существовала НЕОПРЕДЕЛЁННОСТЬ ЗНАНИЯ.

После поступления некоторой информации НЕОПРЕДЕЛЁННОСТЬ ЗНАНИЯ УМЕНЬШИЛАСЬ.

Таким образом, ИНФОРМАЦИЮ рассматривают как МЕРУ УМЕНЬШЕНИЯ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ.

Тогда появляется возможность ИЗМЕРИТЬ информацию, т.е. ввести МЕРУ, ЕДИНИЦУ ИЗМЕРЕНИЯ ИНФОРМАЦИИ.

Единица информации - это количество информации, уменьшающее неопределённость знания В ДВА РАЗА.

Эта единица носит название 1 БИТ (от binary digit - двоичная цифра, здесь отражено уменьшение неопределённости знания в 2 раза).

Так как НЕОПРЕДЕЛЁННОСТЬ ЗНАНИЯ УМЕНЬШАЕТСЯ В 2 РАЗА при наступлении каждого события, то количество этих событий подчиняется формуле:

Пример. Группа учащихся сдаёт экзамен и результатом экзамена может быть одна из отметок - отлично, хорошо, удовлетворительно или неудовлетворительно.

Какое количество информации придёт к учащимся этой группы при известии, что один из сдававших получил отметку "хорошо"?

Решение: так как количество возможных событий - 4 (отлично, хорошо, удовлетворительно или неудовлетворительно) и наступление любого из них уменьшает неопределённость знания об исходе экзамена для окружающих в два раза (сдал или не сдал), то можно использовать формулу N = 2ⁱ:

4 = 2ⁱ

i = 2 (бит).