Теория:
Для равновероятных событий работает формула Хартли: I = log2 N, где N - количество равновероятных событий; I - количество бит в сообщении.;
i – количество «двоичных элементов», используемых для кодирования;
N – количество положений, которые можно закодировать посредством этих элементов.
Для неравновероятных событий используется формула Шеннона: , где:
I-количество информации
N-количество возможных событий
рi - вероятности отдельных событий, где i принимает значения от 1 до N