ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ КОЛИЧЕСТВА ИНФОРМАЦИИ.

Первая формула вероятностного подхода к измерению количества информации была предложена в 1928 г. Ральфом Хартли, вторая формула - в 1948 году - Клодом Шенноном.

Формула Хартли.

Р. Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N:

Формула Шеннона.

К.Шеннон предложил  другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе:

Пример использования формулы Шеннона-Хартли.

Определить количество информации, получаемое при реализации одного из событий, если бросают:
а) несимметричную четырехгранную пирамидку; б) симметричную и однородную четырехгранную пирамидку.

Решение.

а) Будем бросать несимметричную четырехгранную пирамидку (т.е. выпадение каждой грани имеет разную вероятность).
Пусть вероятность отдельных событий будет такова: р₁ = 1/2, р₂ = 1/4, р₃ = 1/8, р₄ = 1/8,
тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле:
I = -(1/2 log₂ 1/2 + 1/4 log₂ 1/4 + 1/8 log₂ 1/8 + 1/8 log₂ 1/8) = 1/2 + 2/4 + 3/8 + 3/8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки (т.е. выпадение каждой грани - событие равновероятное):
I = log₂ 4 = 2 (бит).