АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ.

При АЛФАВИТНОМ ПОДХОДЕ информацию рассматривают как ПОСЛЕДОВАТЕЛЬНОСТЬ ЗНАКОВ (СИМВОЛОВ) НЕКОТОРОГО АЛФАВИТА.

Количество символов в алфавите (N) - это МОЩНОСТЬ АЛФАВИТА.

Каждый символ алфавита несёт некоторое КОЛИЧЕСТВО ИНФОРМАЦИИ, т.е. имеет некоторый ИНФОРМАЦИОННЫЙ ВЕС (i).

Информационный вес одного символа ДВОИЧНОГО АЛФАВИТА, имеющего всего два символа, принят за МИНИМАЛЬНУЮ ЕДИНИЦУ ИНФОРМАЦИИ - 1 БИТ.

Так как алфавит ЛЮБОГО естественного языка можно заменить ДВОИЧНЫМ АЛФАВИТОМ (см. здесь), то ИНФОРМАЦИОННЫЙ ВЕС ОДНОГО СИМВОЛА произвольного алфавита и МОЩНОСТЬ этого алфавита связывает формула:

Если сообщение, записанное с помощью знаков некоторого алфавита, содержит К знаков, то количество информации в этом сообщении можно вычислить по формуле:

Пример. Сообщение из 65 знаков записано с помощью алфавита, содержащего 128 знаков. Найдите информационный объём этого сообщения.

Решение: 1) если в алфавите 128 знаков, то воспользуемся формулой, связывающей мощность алфавита и информационный вес одного знака:

N = 2ⁱ,    128 = 2ⁱ,     i = 7 (бит).

2) если один символ имеет информационный вес 7 бит, то чтобы найти информационный объём сообщения из 65 знаков воспользуемся формулой:

I = K×i,     I = 65 × 7 = 455 (бит).