МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ “ЛЬВІВСЬКА ПОЛІТЕХНІКА”
Кафедра систем штучного інтелекту
Лабораторна робота №1
з дисципліни “Теорія інформації”
Виконала:
Студентка групи КН-214
Пиріг Олена
Викладач:
Косаревич Р. Я.
Львів – 2023р.
Тема: Експериментальне визначення ентропії
Мета: Вивчення властивостей ентропії як кількісної міри інформації
Варіант 22
1.2.1. Обчислити ентропію дискретної випадкової величини X, заданої
розподілом P(xi ). Значення P(xi ) взяти з таблиці 2.1 згідно варіанту.
Ентропія обчислюється за формулою 𝐻2 (𝑋) = − ∑𝐾
𝑖=1 𝑝(𝑥𝑖 ) log 2 𝑝(𝑥𝑖 )
У даному випадку 𝐻2 (𝑋) = 0.11 ∗ log 2
log 2 10 + 0.15 ∗ log 2
log 2
100
100
15
+ 0.07 ∗
100
+ 0.14 ∗ log 2
11
100
log 2
+
7
100
14
+ 4 ∗ 0.1 ∗
0.04 ∗ log 2 25 + 0.09 ∗
9
𝐻2 (𝑋) = 0.11 ∗ 3.1844 + 0.14 ∗ 2.8365 + 0.4 ∗ 3.3219 + 0.15 ∗ 2.737
+ 0.07 ∗ 3.8365 + 0.04 ∗ 4.6439 + 0.09 ∗ 3.474
= 0.35 + 0.397 + 1.329 + 0.41 + 0.269 + 0.186 + 0.313
≈ 3.255 біт/повідомлення
Перевіривши програмно, я отримала приблизно такий самий результат (є
невеличка похибка через неточність обчислень, обраховуючи вручну)
1.2.2. Обчислити ентропію дискретної випадкової величини на основі
згенерованої послідовності цілочисельних значень, які вона приймає. Довжина
послідовності - випадкове число в діапазоні 10 — 20. Елемент послідовності —
випадкове число в діапазоні 0-10.
Дане завдання виконувала наступним чином: генерувала програмно випадкове
число в діапазоні 10-20, після чого генерувала n-розмірний масив, елементи
якого - випадкові числа в діапазоні 0-10. Після цього потрібно було знайти
розподіл ймовірностей, а далі за формулою (2.1) обчислити ентропію.
1.2.3. В довільному середовищі розробити програму для визначення ентропії
зображення. В програмі передбачити наступні функції:
 відображення гістограми зображення;
 розрахунок ентропії інформації зображення за виразом (2.1);
 розрахунок ентропії з використанням вбудованої функції;
 відображення обчисленого значення ентропії.
 Гістограма
Вона показує розподіл тонів у цифровому зображенні. Горизонтальна вісь
графіка представляє тональні зміни, а вертикальна – загальну кількість пікселів
у конкретному тоні.
 Розрахунок ентропії інформації зображення за виразом (2.1)
зображення у форматі png:
зображення у форматі tiff:
зображення у форматі jpeg:
 Розрахунок ентропії з використанням вбудованої функції:
зображення у форматі png:
зображення у форматі tiff:
зображення у форматі jpeg:
Провівши аналіз, можу сказати, що результати ентропії зображення, отримані
при використанні функції, яку я написала сама, використовуючи формулу 2.1, та
при використанні вбудованих функцій python, практично однакові.
Зображення, що використовувались для роботи:
Висновок: я провела експерименти над зображенням, збереженим у форматах
png, jpeg, tiff різними способами (обчислюючи за формулою 2.1 та за допомогою
вбудованих функцій). Проаналізувавши результати, можна зауважити, що
ентропія не залежить від формату представлення зображення. Результати у обох
випадках відрізняються на незначну похибку, яка утворилась при обчисленні.
Формат зображення впливає на оптимізацію його розміру та не впливає на
інформацію про пікселі, відповідно ентропія не змінюється в ході експериментів.