Question

Алфавіт містить 8 символів. Визначити кількість інформації на символ повідомлення,
складеного з цього алфавіту, якщо символи алфавіту трапляються:
а) з рівними ймовірностями; б) з імовірностями: 0.076, 0.119,0.072, 0.025,0.011,0.008,0.006,0.003 pm. Визначити абсолютний (у бітах) та відносний (у відсотках) показники недовантаженості символів у
другому випадку.

Answer 1

a) Якщо символи алфавіту трапляються з рівними ймовірностями, то кількість інформації на символ можна визначити за формулою:

I = log2(N)

де N - кількість символів у алфавіті. У даному випадку N = 8, тому:

I = log2(8) = 3 біта.

b) Якщо символи алфавіту трапляються з різними імовірностями, то кількість інформації на символ можна визначити за формулою:

I = -log2(P)

де P - імовірність того, що символ з'явиться. У даному випадку значення P для кожного символу дано в пм, тому їх потрібно перевести в десяткові дроби:

P1 = 0.076 pm = 0.000076

P2 = 0.119 pm = 0.000119

P3 = 0.072 pm = 0.000072

P4 = 0.025 pm = 0.000025

P5 = 0.011 pm = 0.000011

P6 = 0.008 pm = 0.000008

P7 = 0.006 pm = 0.000006

P8 = 0.003 pm = 0.000003

Тоді кількість інформації на символ буде:

I1 = -log2(0.000076) ≈ 6.12 біт

I2 = -log2(0.000119) ≈ 6.85 біт

I3 = -log2(0.000072) ≈ 6.16 біт

I4 = -log2(0.000025) ≈ 8.64 біт

I5 = -log2(0.000011) ≈ 9.84 біт

I6 = -log2(0.000008) ≈ 10.96 біт

I7 = -log2(0.000006) ≈ 11.75 біт

I8 = -log2(0.000003) ≈ 12.78 біт

Абсолютний показник недовантаженості символу обчислюється за формулою:

Ua = Imax - Ii,

де Imax - максимальна кількість інформації на символ у алфавіті, Ii - кількість інформації на конкретний символ.

У нашому випадку максимальна кількість інформації на символ - це I8 ≈ 12.78 біт, тому абсолютний показник недовантаженості для кожного символу буде:

Ua1 = 12.78 - 6.12 ≈ 6.66 біт

Ua2 = 12.78 - 6.85 ≈ 5.93 біт

Ua3 = 12.78 - 6.16 ≈ 6.62 біт

Ua4 = 12.78 - 8.64 ≈ 4.14 біт

Ua5 = 12.78 - 9.84 ≈ 2.94 біт

Ua6 = 12.78 - 10.96 ≈ 1.82 біт

Ua7 = 12.78 - 11.75 ≈ 1.03 біт

Ua8 = 0 біт

Відносний показник недовантаженості символу обчислюється за формулою:

Ur = Ua / Imax * 100%.

У нашому випадку відносний показник недовантаженості символу для кожного символу буде:

Ur1 = 6.66 / 12.78 * 100% ≈ 52.14%

Ur2 = 5.93 / 12.78 * 100% ≈ 46.43%

Ur3 = 6.62 / 12.78 * 100% ≈ 51.83%

Ur4 = 4.14 / 12.78 * 100% ≈ 32.37%

Ur5 = 2.94 / 12.78 * 100% ≈ 23.01%

Ur6 = 1.82 / 12.78 * 100% ≈ 14.25%

Ur7 = 1.03 / 12.78 * 100% ≈ 8.06%

Ur8 = 0%

Отже, символи з імовірностями 0.003 та 0.076 пм є найбільш недовантаженими в цьому алфавіті, оскільки містять менше інформації, ніж інші символи. Відповідно, символ з імовірністю 0.003 пм є найбільш недовантаженим (він має 0% відносного показника недовантаженості), тоді як символ з імовірністю 0.011 пм є найбільш надмірно навантаженим, оскільки містить найбільше інформації серед усіх символів.