Структурна подібність

SSIM — це модель, заснована на сприйнятті, яка розглядає погіршення зображення як сприйняту зміну структурної інформації, а також включає важливі явища сприйняття, включаючи як маскування яскравості, так і терміни маскування контрасту. Відмінність від інших методів, таких як середньоквадратична похибка (англ. MSE) або PSNR (англ. peak signal-to-noise ratio), полягає в тому, що ці підходи оцінюють абсолютні похибки. Структурна інформація — це ідея, що пікселі мають сильні взаємозалежності, особливо коли вони просторово близькі. Ці залежності несуть важливу інформацію про структуру об'єктів у візуальній сцені. Маскування яскравості — це явище, при якому спотворення зображення (у цьому контексті) мають тенденцію бути менш помітними в яскравих областях, тоді як контрастне маскування — це явище, при якому спотворення стають менш помітними там, де є значна активність або «текстура» зображення.

Попередник SSIM називався Universal Quality Index (UQI) або Wang-Bovik Index, який був розроблений Чжоу Вангом та Аланом Бовіком^[en] у 2001 році. Завдяки співпраці з Хамідом Шейхом та Ееро Сімончеллі^[en] це переросло в поточну версію SSIM, яка була опублікована в квітні 2004 року в IEEE Transactions on Image Processing^[en].^[1] На додаток до визначення індексу якості SSIM, стаття надає загальний контекст для розробки та оцінки показників якості сприйняття, включаючи зв'язки з людською візуальною нейробіологією та сприйняттям, а також пряму перевірку індексу щодо оцінок людини.

Основна модель була розроблена в Лабораторії інженерії зображень і відео (англ. Laboratory for Image and Video Engineering, LIVE) Техаського університету в Остіні та в подальшому розроблена спільно з Лабораторією обчислювального зору (англ. Laboratory for Computational Vision, LCV) Нью-Йоркського університету. Подальші варіанти моделі були розроблені в Лабораторії зображень і візуальних обчислень в університеті Ватерлоо і були комерційно продані.

Згодом SSIM знайшов широке поширення в спільноті обробки зображень, а також у телевізійній індустрії та в соціальних мережах. Стаття SSIM 2004 року була процитована понад 20 000 разів за даними Google Scholar^[2], що робить її однією з найбільш цитованих робіт у сферах обробки зображень та відеоінженерії. Він був удостоєний нагороди IEEE Signal Processing Society^[en] Best Paper Award у 2009 році.^[3] Він також отримав нагороду IEEE Signal Processing Society^[en] Sustained Impact Award за 2016 рік, що свідчить про надзвичайно високий вплив статті протягом принаймні 10 років після її публікації. Через його високе поширення в телевізійній індустрії, кожен із авторів оригінальної статті SSIM отримав премію Primetime Engineering Emmy Award^[en] у 2015 році від Телевізійної академії.

Індекс SSIM розраховується для різних вікон зображення. Міра між двома вікнами ${\displaystyle x}$ і ${\displaystyle y}$ загального розміру ${\displaystyle N\times N}$ є:^[4]$${\displaystyle {\hbox{SSIM}}(x,y)={\frac {(2\mu _{x}\mu _{y}+c_{1})(2\sigma _{xy}+c_{2})}{(\mu _{x}^{2}+\mu _{y}^{2}+c_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2})}}}$$

• ${\displaystyle \mu _{x}}$ середнє значення ${\displaystyle x}$;
• ${\displaystyle \mu _{y}}$ середнє значення ${\displaystyle y}$;
• ${\displaystyle \sigma _{x}^{2}}$ дисперсія ${\displaystyle x}$;
• ${\displaystyle \sigma _{y}^{2}}$ дисперсія ${\displaystyle y}$;
• ${\displaystyle \sigma _{xy}}$ коваріантність ${\displaystyle x}$ і ${\displaystyle y}$;
• ${\displaystyle c_{1}=(k_{1}L)^{2}}$, ${\displaystyle c_{2}=(k_{2}L)^{2}}$ дві змінні для стабілізації ділення зі слабким знаменником;
• ${\displaystyle L}$ динамічний діапазон значень пікселів (зазвичай це ${\displaystyle 2^{\#bits\ per\ pixel}-1}$);
• ${\displaystyle k_{1}=0.01}$ і ${\displaystyle k_{2}=0.03}$ за замовчуванням.

Формула SSIM заснована на трьох порівняльних вимірюваннях між зразками ${\displaystyle x}$ і ${\displaystyle y}$: яскравість (${\displaystyle l}$), контраст

(${\displaystyle c}$) і структура (${\displaystyle s}$). Окремі функції порівняння:^[4]$${\displaystyle l(x,y)={\frac {2\mu _{x}\mu _{y}+c_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+c_{1}}}}$$$${\displaystyle c(x,y)={\frac {2\sigma _{x}\sigma _{y}+c_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2}}}}$$$${\displaystyle s(x,y)={\frac {\sigma _{xy}+c_{3}}{\sigma _{x}\sigma _{y}+c_{3}}}}$$крім наведених вище визначень:

• ${\displaystyle c_{3}=c_{2}/2}$

Тоді SSIM є зваженою комбінацією цих порівняльних показників:

${\displaystyle {\text{SSIM}}(x,y)=\left[l(x,y)^{\alpha }\cdot c(x,y)^{\beta }\cdot s(x,y)^{\gamma }\right]}$

Якщо взяти ваги ${\displaystyle \alpha ,\beta ,\gamma }$ рівними 1, то формула буде зведега до наведеного вище виду.

SSIM задовольняє тотожності нерозрізнених і властивостей симетрії, але не відповідає нерівності трикутника чи невід'ємності, таким чином, не є функцією відстані. Однак за певних умов SSIM може бути перетворений на нормовану кореневу міру MSE, яка є функцією відстані.^[5] Квадрат такої функції не є опуклим, а локально опуклим і квазіопуклим,^[5] що робить SSIM можливою метою для оптимізації.

Щоб оцінити якість зображення, ця формула зазвичай застосовується лише до яскравості^[en], хоча вона також може застосовуватися до значень кольору (наприклад, RGB) або хроматичних (наприклад, значення YCbCr^[en]). Отриманий індекс SSIM є десятковим значенням від 0 до 1, а значення 1 доступне лише у випадку двох ідентичних наборів даних, отже, вказує на повну структурну схожість. Значення 0 вказує на відсутність структурної подібності. Для зображення він зазвичай розраховується за допомогою ковзного гауссового вікна розміром 11x11 або блокового вікна розміром 8×8. Вікно можна зміщувати піксель за пікселем на зображенні, щоб створити карту якості зображення SSIM. У разі оцінки якості відео^[6] автори пропонують використовувати лише підгрупу можливих вікон, щоб зменшити складність розрахунку.

Більш просунута форма SSIM, яка називається Multiscale SSIM (MS-SSIM)^[4], проводиться в декількох масштабах за допомогою процесу кількох етапів підвибірки, що нагадує багатомасштабну обробку в системі раннього бачення. Було показано, що він працює однаково добре або краще, ніж SSIM на різних суб'єктивних базах даних зображень і відео.^[4][7][8]

Трикомпонентний SSIM (3-SSIM) це форма SSIM, яка враховує той факт, що людське око може бачити відмінності точніше на текстурованих або крайових областях, ніж на гладких областях.^[9] Отримана метрика розраховується як середнє зважене значення SSIM для трьох категорій областей: країв, текстур і гладких областей. Запропонована зважування становить 0,5 для країв, 0,25 для текстурованих і гладких областей. Автори зазначають, що зважування 1/0/0 (ігноруючи будь-що, крім викривлень країв) призводить до результатів, ближчих до суб'єктивних оцінок. Це говорить про те, що краєві області відіграють домінуючу роль у сприйнятті якості зображення.

Автори 3-SSIM також розширили модель на чотирикомпонентний SSIM (4-SSIM). Типи країв далі поділяються на збережені та змінені ребра за статусом спотворення. Запропонована зважування становить 0,25 для всіх чотирьох компонентів.^[10]

Структурна несхожість (DSSIM) може бути отримана з SSIM, хоча вона не є функцією відстані, оскільки нерівність трикутника не обов'язково виконується.$${\displaystyle {\hbox{DSSIM}}(x,y)={\frac {1-{\hbox{SSIM}}(x,y)}{2}}}$$

Варто зазначити, що оригінальна версія SSIM була розроблена для вимірювання якості нерухомих зображень. Він не містить жодних параметрів, безпосередньо пов'язаних із тимчасовими ефектами людського сприйняття та людських суджень.^[7] Звичайною практикою є обчислення середнього значення SSIM для всіх кадрів у відеопослідовності. Проте було розроблено кілька тимчасових варіантів SSIM.^[11][6][12]

Складний варіант вейвлет-перетворення SSIM (CW-SSIM) призначений для вирішення проблем масштабування, трансляції та повороту зображення. Замість того, щоб давати низькі оцінки зображенням з такими умовами, CW-SSIM використовує переваги складного вейвлет-перетворення, отже дає вищі оцінки зазначеним зображенням. CW-SSIM визначається наступним чином:$${\displaystyle {\text{CW-SSIM}}(c_{x},c_{y})={\bigg (}{\frac {2\sum _{i=1}^{N}|c_{x,i}||c_{y,i}|+K}{\sum _{i=1}^{N}|c_{x,i}|^{2}+\sum _{i=1}^{N}|c_{y,i}|^{2}+K}}{\bigg )}{\bigg (}{\frac {2|\sum _{i=1}^{N}c_{x,i}c_{y,i}^{*}|+K}{2\sum _{i=1}^{N}|c_{x,i}c_{y,i}^{*}|+K}}{\bigg )}}$$Де ${\displaystyle c_{x}}$ — це комплексне вейвлет-перетворення сигналу ${\displaystyle x}$ і ${\displaystyle c_{y}}$ — комплексне вейвлет-перетворення для сигналу ${\displaystyle y}$ . Крім того, ${\displaystyle K}$ це невелике додатне число, яке використовується для забезпечення стабільності функції. В ідеалі вона повинна бути нульовою. Як і SSIM, CW-SSIM має максимальне значення 1. Максимальне значення 1 вказує на те, що два сигнали абсолютно схожі за структурою, тоді як значення 0 вказує на відсутність структурної подібності.^[13]

Індекс SSIMPLUS заснований на SSIM і є комерційно доступним інструментом.^[14] Він розширює можливості SSIM, в основному для цільових відеопрограм. Він надає оцінки в діапазоні від 0 до 100, які лінійно відповідають суб'єктивним оцінкам людини. Він також дозволяє адаптувати оцінки до призначеного пристрою для перегляду, порівнюючи відео з різними роздільною здатністю та вмістом.

За словами його авторів, SSIMPLUS досягає більш високої точності та швидкості, ніж інші показники якості зображення та відео. Однак незалежне оцінювання SSIMPLUS не проводилося, оскільки сам алгоритм не є загальнодоступним.

Для подальшого дослідження стандартної дискретної SSIM з теоретичної точки зору було введено та досліджено неперервну SSIM (cSSIM)^[15] в контексті інтерполяції радіальної базисної функції^[en].

Метрика взаємної кореляції r* заснована на метриці дисперсії SSIM. Він визначається як r*(x, y) = σ_xy/σ_xσ_y

коли обидва стандартних відхилення дорівнюють нулю, і 0, коли лише один дорівнює нулю. Він знайшов застосування при аналізі реакції людини на фантоми з контрастними деталями.^[16]

SSIM також використовувався для градієнта зображень, що робить його «G-SSIM». G-SSIM особливо корисний для розмитих зображень.^[17]

Наведені вище модифікації можна комбінувати. Наприклад, 4-Gr* є комбінацією 4-SSIM, G-SSIM і r*. Він здатний відображати переваги рентгенологів до зображень набагато краще, ніж інші протестовані варіанти SSIM.^[18]

SSIM має програми для вирішення різноманітних проблем. Деякі приклади:

• Стиснення зображення: під час стиснення зображень із втратами інформація навмисно відкидається, щоб зменшити простір для зберігання зображень і відео. MSE зазвичай використовується в таких схемах стиснення. За словами його авторів, використання SSIM замість MSE пропонується для отримання кращих результатів для розпакованих зображень.^[13]
• Відновлення зображення: відновлення зображення фокусується на вирішенні проблеми${\displaystyle y=h*x+n}$ де ${\displaystyle y}$ є розмитим зображенням, яке слід відновити, ${\displaystyle h}$ це ядро розмиття, ${\displaystyle n}$ є адитивним шумом і ${\displaystyle x}$ це оригінальне зображення, яке ми хочемо відновити. Традиційним фільтром, який використовується для вирішення цієї проблеми, є фільтр Вінера. Однак конструкція фільтра Вінера заснована на MSE. За словами авторів алгоритму, використання варіанту SSIM, зокрема Stat-SSIM, дає кращі візуальні результати.^[13]
• Розпізнавання шаблонів: оскільки SSIM імітує аспекти людського сприйняття, його можна використовувати для розпізнавання шаблонів. Коли стикаються з такими проблемами, як масштабування зображення, переклад і поворот, автори алгоритму стверджують, що краще використовувати CW-SSIM,^[19] який нечутливий до цих варіацій і може бути безпосередньо застосований шляхом зіставлення шаблонів без використання навчального зразка. Оскільки підходи до розпізнавання шаблонів, керовані даними, можуть забезпечити кращу продуктивність, коли велика кількість даних доступна для навчання, автори пропонують використовувати CW-SSIM в підходах, керованих даними.^[19]

Через його популярність SSIM часто порівнюють з іншими показниками, включаючи простіші показники, такі як MSE і PSNR, а також інші показники якості зображення та відео, що сприймаються. Неодноразово було показано, що SSIM значно перевершує MSE та його похідні за точністю, включаючи дослідження його власних авторів та інших.^{[7][20][21][22][23][24]}

У статті Доссельмана і Янга стверджується, що продуктивність SSIM «набагато ближча до продуктивності MSE», ніж зазвичай припускається. Хоча вони не заперечують переваги SSIM над MSE, вони констатують аналітичну та функціональну залежність між двома показниками.^[8] Згідно з їхніми дослідженнями, було виявлено, що SSIM корелює, а також методи на основі MSE для суб'єктивних баз даних, відмінних від баз даних від творців SSIM. Як приклад вони наводять Рейбмана і Пула, які виявили, що MSE випереджає SSIM у базі даних, що містить відео з втратою пакетів.^[25] В іншій статті було виявлено аналітичний зв'язок між PSNR та SSIM.^[26]

• Середньоквадратична похибка
• Пікове співвідношення сигнал/шум
• Якість відео

• Домашня сторінка
• Реалізація Rust
• Реалізація C/C++
• Реалізація DSSIM C++
• Реалізація C# Кріса Ломонта
• Реалізація qpsnr (багатопотоковий C++)
• Реалізація в програмному забезпеченні VQMT
• Реалізація на Python
• «Таємниця вимірювань подібності MSE та SSIM», Гінтаутас Палубінскас, 2014 р.