Question

найти количество информации в сообщении длиной 4 с вероятностями p=0,25

Answer 1

Видимо, имеется в виду, что используется алфавит из 2 символов (для определённости, a и b), в котором вероятность встретить символ a равна 0.25, а символа b 1 - 0.25 = 0.75.

Найдём информационный вес одного символа:

$\displaystyle i=\sum p_i\log_2\frac1{p_i}=0.75\log_2\frac43+0.25\log_24=0.81\text { bit}$

Количество информации в сообщении из 4 символов равно

0.81 бит * 4 = 3.24 бит