Виявляння хребтів

Цю статтю написано занадто професійним стилем зі специфічною термінологією, що може бути незрозумілим для більшості читачів. Ви можете допомогти вдосконалити цю статтю, зробивши її зрозумілою для неспеціалістів без втрат змісту. Можливо, сторінка обговорення містить зауваження щодо потрібних змін. (травень 2022)

В обробці зображень виявля́ння хребті́в (англ. ridge detection) — це намагання за допомогою програмного забезпечення знаходити в зображенні хребти́ (англ. ridges), визначені як криві, чиї точки є локальними максимумами функції, схожі на географічні хребти.

Для функції N змінних її хребти — це множина кривих, чиї точки є локальними максимумами в N − 1 вимірах. У цьому відношенні поняття точок хребта розширює поняття локального максимуму. Відповідно, поняття доли́н (англ. valleys) для функції можна визначити, замінивши умову локального максимуму умовою локального мінімуму. Об'єднання множин хребтів і множин долин, разом із пов'язаною множиною точок, званою множино́ю сполу́чників (англ. connector set), утворюють зв'язну множину кривих, які розбиваються, перетинаються або зустрічаються в критичних точках функції. Це спільне об'єднання множин називають відносною крити́чною множино́ю (англ. relative critical set) функції.^[1][2]

Множини хребтів, множини долин і відносні критичні множини подають важливу геометричну інформацію, притаманну функції. Певним чином вони забезпечують компактне подання важливих ознак функції, але питання про те, наскільки їх можливо використовувати, щоби визначати глобальні ознаки функції, залишається відкритим. Основна мотивація для створення процедур виявля́ння хребті́в і виявля́ння доли́н походить з аналізу зображень^[en] та комп'ютерного бачення, і полягає у вловлюванні внутрішностей видовжених об'єктів в області зображення. Пов'язані з хребтами подання в термінах вододілів^[en] використовували для сегментування зображень. Були також спроби вловлювати форми об'єктів за допомогою графових подань, що відображують хребти, долини та критичні точки в області зображення. Проте такі уявлення можуть бути дуже чутливими до шуму, якщо обчислюються лише в одному масштабі. Оскільки обчислення теорії простору масштабів залучають згортку гауссовим (згладжувальним) ядром, сподівалися, що використання багатомасштабових хребтів, долин та критичних точок у контексті теорії простору масштабів дозволить забезпечувати надійніше подання об'єктів (або форм) у зображенні.

У цьому відношенні хребти та долини можливо розглядати як доповнення до природних особливих точок або точок локальних екстремумів. За належно визначених понять, хребти та долини в ландшафті яскравості (або в якомусь іншому поданні, отриманому з ландшафту яскравості) можуть утворювати масштабоінваріантний кістяк для утворення просторових обмежень на локальний вигляд з низкою якісних подібностей до того, як серединноосьове перетворення Блюма забезпечує кістяк форми для бінарних зображень. У типових застосуваннях описувачі хребтів і долин часто використовують для виявляння доріг на аерофотознімках та для виявляння кровоносних судин на зображеннях очного дна^[en] чи тривимірних магнітно-резонансних зображеннях.

Нехай ${\displaystyle f(x,y)}$ позначує двовимірну функцію, і нехай ${\displaystyle L}$ буде масштабопросторовим поданням ${\displaystyle f(x,y)}$, отриманим згортанням ${\displaystyle f(x,y)}$ гауссовою функцією

${\displaystyle g(x,y,t)={\frac {1}{2\pi t}}e^{-(x^{2}+y^{2})/2t}}$.

Крім того, нехай ${\displaystyle L_{pp}}$ та ${\displaystyle L_{qq}}$ позначують власні значення матриці Гессе

${\displaystyle H={\begin{bmatrix}L_{xx}&L_{xy}\\L_{xy}&L_{yy}\end{bmatrix}}}$

масштабопросторового подання ${\displaystyle L}$ з перетворенням координат (повертанням), застосованим до операторів локальних напрямних похідних,

${\displaystyle \partial _{p}=\sin \beta \partial _{x}-\cos \beta \partial _{y},\partial _{q}=\cos \beta \partial _{x}+\sin \beta \partial _{y}}$

де p та q — координати повернутої системи координат.

Можливо показати, що змішана похідна ${\displaystyle L_{pq}}$ у перетвореній системі координат нульова, якщо ми оберемо

${\displaystyle \cos \beta ={\sqrt {{\frac {1}{2}}\left(1+{\frac {L_{xx}-L_{yy}}{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}}\right)}}}$, ${\displaystyle \sin \beta =\operatorname {sgn}(L_{xy}){\sqrt {{\frac {1}{2}}\left(1-{\frac {L_{xx}-L_{yy}}{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}}\right)}}}$.

Тоді формальне диференціальногеометричне визначення хребтів ${\displaystyle f(x,y)}$ у фіксованому масштабі ${\displaystyle t}$ може бути виражено як набір точок, які задовольняють^[3]

${\displaystyle L_{p}=0,L_{pp}\leq 0,|L_{pp}|\geq |L_{qq}|.}$

Відповідно, долини ${\displaystyle f(x,y)}$ в масштабі ${\displaystyle t}$ — множина точок

${\displaystyle L_{q}=0,L_{qq}\geq 0,|L_{qq}|\geq |L_{pp}|.}$

В системі координат ${\displaystyle (u,v)}$ з напрямком ${\displaystyle v}$, паралельним градієнтові зображення,

${\displaystyle \partial _{u}=\sin \alpha \partial _{x}-\cos \alpha \partial _{y},\partial _{v}=\cos \alpha \partial _{x}+\sin \alpha \partial _{y}}$

де

${\displaystyle \cos \alpha ={\frac {L_{x}}{\sqrt {L_{x}^{2}+L_{y}^{2}}}},\sin \alpha ={\frac {L_{y}}{\sqrt {L_{x}^{2}+L_{y}^{2}}}}}$

можливо показати, що це визначення хребтів і долин можливо натомість еквівалентно^[4] записати як

${\displaystyle L_{uv}=0,L_{uu}^{2}-L_{vv}^{2}\geq 0}$

де

${\displaystyle L_{v}^{2}L_{uu}=L_{x}^{2}L_{yy}-2L_{x}L_{y}L_{xy}+L_{y}^{2}L_{xx},}$

${\displaystyle L_{v}^{2}L_{uv}=L_{x}L_{y}(L_{xx}-L_{yy})-(L_{x}^{2}-L_{y}^{2})L_{xy},}$

${\displaystyle L_{v}^{2}L_{vv}=L_{x}^{2}L_{xx}+2L_{x}L_{y}L_{xy}+L_{y}^{2}L_{yy}}$

а знак ${\displaystyle L_{uu}}$ визначає полярність; ${\displaystyle L_{uu}<0}$ для хребтів і ${\displaystyle L_{uu}>0}$ для долин.

Основна проблема поданого вище визначення хребта фіксованого масштабу полягає в тому, що воно може бути дуже чутливим до вибору рівня масштабу. Експерименти показують, що параметр масштабу гауссового ядра попереднього згладжування мусить бути ретельно підлаштовано до ширини хребтової структури в області зображення, щоби виявляч хребтів створював зв'язану криву, яка відображувала би структури в основі зображення. Для розв'язання цієї проблеми за відсутності попередньої інформації було введено поняття масштабопросторових хребтів (англ. scale-space ridges), яке розглядає параметр масштабу як невід'ємну властивість визначення хребта й дозволяє рівням масштабу змінюватися вздовж масштабопросторового хребта. Більше того, концепція масштабопросторового хребта також дозволяє підлаштовувати параметр масштабу до ширини хребтових структур в області зображення автоматично, фактично як наслідок добре сформульованого визначення. У літературі на основі цієї ідеї було запропоновано низку різних підходів.

Нехай ${\displaystyle R(x,y,t)}$ позначує міру вираженості хребта (яку буде вказано нижче). Тоді для двовимірного зображення масштабопросторовий гребінь — це множина точок, які задовольняють

${\displaystyle L_{p}=0,L_{pp}\leq 0,\partial _{t}(R)=0,\partial _{tt}(R)\leq 0,}$

де ${\displaystyle t}$ — параметр масштабу в масштабопросторовому поданні. Аналогічно, масштабопросторова долина (англ. scale-space valley) — це множина точок, які задовольняють

${\displaystyle L_{q}=0,L_{qq}\geq 0,\partial _{t}(R)=0,\partial _{tt}(R)\leq 0.}$

Безпосереднім наслідком цього визначення є те, що для двовимірного зображення концепція масштабопросторових хребтів вимітає множину одновимірних кривих у тривимірному просторі масштабів, де параметрові масштабу дозволено змінюватися вздовж масштабопросторового хребта (чи масштабопросторової долини). Описувачем хребта в області зображення тоді буде проєкція цієї тривимірної кривої на двовимірну площину зображення, де інформацію про властивий масштаб у кожній точці хребта можливо використовувати як природну оцінку ширини хребтової структури в області зображення в околі цієї точки.

У літературі пропонують різні міри хребтової вираженості. Коли Ліндеберг (1996, 1998)^[5] запровадив термін «масштабопросторовий хребет», він розглядав три міри хребтової вираженості:

• Основна головна кривина

${\displaystyle L_{pp,\gamma -norm}={\frac {t^{\gamma }}{2}}\left(L_{xx}+L_{yy}-{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

виражена в термінах ${\displaystyle \gamma }$-нормованих похідних через

${\displaystyle \partial _{\xi }=t^{\gamma /2}\partial _{x},\partial _{\eta }=t^{\gamma /2}\partial _{y}}$.

• Квадрат різниці квадратів ${\displaystyle \gamma }$-нормованих власних значень

${\displaystyle N_{\gamma -norm}=\left(L_{pp,\gamma -norm}^{2}-L_{qq,\gamma -norm}^{2}\right)^{2}=t^{4\gamma }(L_{xx}+L_{yy})^{2}\left((L_{xx}-L_{yy})^{2}+4L_{xy}^{2}\right).}$

• Квадрат різниці ${\displaystyle \gamma }$-нормованих власних значень

${\displaystyle A_{\gamma -norm}=\left(L_{pp,\gamma -norm}-L_{qq,\gamma -norm}\right)^{2}=t^{2\gamma }\left((L_{xx}-L_{yy})^{2}+4L_{xy}^{2}\right).}$

Поняття ${\displaystyle \gamma }$-нормованих похідних тут важливе, оскільки дозволяє алгоритмам виявляння хребтів і долин належно калібруватися. З вимоги, щоби для одновимірного гауссового хребта, вкладеного в два (або три) виміри, масштаб виявляння дорівнював ширині хребтової структури при вимірюванні в одиницях довжини (вимога відповідності між розмірами фільтра виявляння та структурою зображення, на яку він реагує), випливає, що слід обирати ${\displaystyle \gamma =3/4}$. З цих трьох мір вираженості хребта перша сутність ${\displaystyle L_{pp,\gamma -norm}}$ є мірою вираженості хребта загального призначення з багатьма застосуваннями, такими як виявляння кровоносних судин і виділяння доріг. Проте сутність ${\displaystyle A_{\gamma -norm}}$ використовували в таких застосуваннях як покращення відбитків пальців,^[6] відстежування рук^[en] та розпізнавання жестів^[en] у реальному часі,^[7] а також для моделювання локальних статистик зображень для виявляння та відстежування людей у зображеннях та відео.^[8]

Існують також й інші тісно пов'язані визначення хребта, які використовують нормовані похідні з неявним припущенням ${\displaystyle \gamma =1}$.^[9] Проробити ці підходи докладніше. Проте при виявлянні хребтів з ${\displaystyle \gamma =1}$ масштаб виявляння буде вдвічі більшим, аніж для ${\displaystyle \gamma =3/4}$, що призводить до більших викривлень форми та нижчої здатності вловлювати хребти та долини з сусідніми завадними структурами зображення в його області.

Поняття хребтів і долин у цифрових зображеннях було запроваджено Гараліком^[en] 1983 року^[10] та Кроулі стосовно пірамід різниць гауссіанів 1984 року.^[11][12] Застосування хребтових описувачів до аналізу медичних зображень було детально досліджено Пайзером та його співробітниками,^[13][14][15] давши їхнє поняття M-подань (англ. M-reps).^[16] Ліндеберг також посприяв розвитку виявляння хребтів, запровадивши ${\displaystyle \gamma }$-нормовані похідні та масштабопросторові хребти, визначені з локальної максимізації належним чином нормованої головної кривини матриці Гессе (або інших мір вираженості хребта) над простором та над масштабом. Ці поняття пізніше було розвинуто із застосуванням до виділяння доріг Стегером та ін.^[17][18] та до сегментування кровоносних судин за Франджі та ін.,^[19] а також для виявлення криволінійних і трубчастих структур Сато та ін.^[20] та Крисяном та ін.^[21] Огляд кількох класичних визначень хребтів у фіксованому масштабі, включно з відношеннями між ними, було запропоновано Кендерінком та ван Дорном.^[22] Огляд методів виділяння судин було запропоновано Кірбасом та Квеком.^[23]

У своєму найширшому сенсі поняття хребта узагальнює уявлення про локальний максимум дійсної функції. Точка ${\displaystyle \mathbf {x} _{0}}$ в області визначення функції ${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$ є локальним максимумом цієї функції, якщо існує відстань ${\displaystyle \delta >0}$, така, що якщо ${\displaystyle \mathbf {x} }$ знаходиться всередині ${\displaystyle \delta }$ одиниць від ${\displaystyle \mathbf {x} _{0}}$, то ${\displaystyle f(\mathbf {x} )<f(\mathbf {x} _{0})}$. Добре відомо, що критичні точки, для яких локальні максимуми є лише одним з їхніх типів, це ізольовані точки в області визначення функції у всіх ситуаціях, окрім найнезвичніших (тобто незагальних випадків).

Розгляньмо деяке послаблення умови ${\displaystyle f(\mathbf {x} )<f(\mathbf {x} _{0})}$ для ${\displaystyle \mathbf {x} }$ у всьому околі ${\displaystyle \mathbf {x} _{0}}$ до вимоги лише того, щоби вона дотримувалася в ${\displaystyle n-1}$-вимірній підмножині. Імовірно, це послаблення дозволяє множині точок, що задовольняють цей критерій, які ми назвемо хребтом, мати один ступінь свободи, принаймні в загальному випадку. Це означає, що множина точок хребта утворюватиме одновимірне геометричне місце точок, або криву хребта (англ. ridge curve). Зверніть увагу, що вищезазначене можливо видозмінити, узагальнивши це уявлення до локальних мінімумів й отримавши те, що можна було би назвати одновимірними кривими долин.

Наступне визначення хребта відповідає книзі Еберлі,^[24] й його можливо розглядати як узагальнення деяких із вищезгаданих. Нехай ${\displaystyle U\subset \mathbb {R} ^{n}}$ — відкрита множина, а ${\displaystyle f:U\rightarrow \mathbb {R} }$ гладенька. Нехай ${\displaystyle \mathbf {x} _{0}\in U}$. Нехай ${\displaystyle \nabla _{\mathbf {x} _{0}}f}$ — градієнт ${\displaystyle f}$ в ${\displaystyle \mathbf {x} _{0}}$, і нехай ${\displaystyle H_{\mathbf {x} _{0}}(f)}$ — матриця Гессе ${\displaystyle n\times n}$ функції ${\displaystyle f}$ в ${\displaystyle \mathbf {x} _{0}}$. Нехай ${\displaystyle \lambda _{1}\leq \lambda _{2}\leq \cdots \leq \lambda _{n}}$ — це ${\displaystyle n}$ впорядкованих власних значень ${\displaystyle H_{\mathbf {x} _{0}}(f)}$, і нехай ${\displaystyle \mathbf {e} _{i}}$ — одиничний власний вектор у власному просторі для ${\displaystyle \lambda _{i}}$. (Для цього слід виходити з відмінності всі власних значень.)

Точка ${\displaystyle \mathbf {x} _{0}}$ є точкою на 1-вимірному хребті ${\displaystyle f}$, якщо виконуються такі умови:

1. ${\displaystyle \lambda _{n-1}<0}$, і
2. ${\displaystyle \nabla _{\mathbf {x} _{0}}f\cdot \mathbf {e} _{i}=0}$ для ${\displaystyle i=1,2,\ldots ,n-1}$.

Це уточнює поняття, що ${\displaystyle f}$, обмежена цим конкретним ${\displaystyle n-1}$-вимірним підпростором, має локальний максимум в ${\displaystyle \mathbf {x} _{0}}$.

Це визначення природно узагальнюється на k -вимірний хребет наступним чином: точка ${\displaystyle \mathbf {x} _{0}}$ є точкою на k-вимірному хребті ${\displaystyle f}$, якщо виконуються наступні умови:

1. ${\displaystyle \lambda _{n-k}<0}$, і
2. ${\displaystyle \nabla _{\mathbf {x} _{0}}f\cdot \mathbf {e} _{i}=0}$ для ${\displaystyle i=1,2,\ldots ,n-k}$.

Багато в чому ці визначення природно узагальнюють визначення локального максимуму функції. Властивості гребнів максимальної опуклості (англ. maximal convexity ridges) покладено на тверду математичну основу Деймоном^[1] та Міллером.^[2] Їхні властивості в однопараметрових сімействах було визначено Келлером.^[25]

Наступне визначення можливо простежити до Фріча,^[26] який цікавився виділянням геометричної інформації про фігури у двовимірних зображеннях у відтінках сірого. Фріч обробляв своє зображення фільтром «серединності» (англ. "medialness"), який давав йому інформацію, аналогічну даним «віддаленості від меж» (англ. "distant to the boundary") у просторі масштабів. Хребти цього зображення, проєктовані на первинне зображення, мали бути аналогічними кістякові форми (наприклад, блюмовій серединній осі) первинного зображення.

Далі наведено визначення максимальномасштабового хребта (англ. maximal scale ridge) функції трьох змінних, однією з яких є параметр «масштаб». Одне, чого ми хочемо дотриматися в цьому визначенні, це якщо ${\displaystyle (\mathbf {x} ,\sigma )}$ — точка на цьому хребті, то значення цієї функції в ній максимальне за виміром масштабу. Нехай ${\displaystyle f(\mathbf {x} ,\sigma )}$ — гладенька диференційована функція ${\displaystyle U\subset \mathbb {R} ^{2}\times \mathbb {R} _{+}}$. ${\displaystyle (\mathbf {x} ,\sigma )}$ — точка на максимальномасштабовому хребті тоді й лише тоді, коли

1. ${\displaystyle {\frac {\partial f}{\partial \sigma }}=0}$ і ${\displaystyle {\frac {\partial ^{2}f}{\partial \sigma ^{2}}}<0}$, і
2. ${\displaystyle \nabla f\cdot \mathbf {e} _{1}=0}$ і ${\displaystyle \mathbf {e} _{1}^{t}H(f)\mathbf {e} _{1}<0}$.

Метою виявляння хребтів зазвичай є вловлювання головної осі симетрії видовженого об'єкта,^{[джерело?]} тоді як мета виявляння контурів зазвичай полягає у вловлюванні межі об'єкта. Проте деяка література з виявляння контурів помилково^{[джерело?]} відносить поняття хребтів до поняття контурів, що заплутує ситуацію.

З точки зору визначень, між виявлячами контурів та виявлячами хребтів існує тісний зв'язок. З формулюванням не-максимуму, наведеним Кенні,^[27] стверджується, що контури визначаються як точки, де величина градієнта набуває локального максимуму в напрямі градієнта. Дотримуючись диференціальногеометричного способу вираження цього визначення,^[28] ми можемо у вищезгаданій системі координат ${\displaystyle (u,v)}$ стверджувати, що величина градієнта масштабопросторового подання, яка дорівнює похідній за напрямом першого порядку в напрямі ${\displaystyle v}$, ${\displaystyle L_{v}}$, повинна мати свою напрямну похідну першого порядку в напрямі ${\displaystyle v}$ рівною нулеві

${\displaystyle \partial _{v}(L_{v})=0}$

тоді як напрямна похідна другого порядку ${\displaystyle L_{v}}$ в напрямі ${\displaystyle v}$ має бути від'ємною, тобто

${\displaystyle \partial _{vv}(L_{v})\leq 0}$.

Записане як явний вираз у термінах локальних частинних похідних ${\displaystyle L_{x}}$, ${\displaystyle L_{y}}$ … ${\displaystyle L_{yyy}}$, це визначення контуру можливо виразити у вигляді кривих, які перетинають нуль, диференціального інваріанта

${\displaystyle L_{v}^{2}L_{vv}=L_{x}^{2}\,L_{xx}+2\,L_{x}\,L_{y}\,L_{xy}+L_{y}^{2}\,L_{yy}=0,}$

що задовольняють знакові умові на наступному диференціальному інваріанті

${\displaystyle L_{v}^{3}L_{vvv}=L_{x}^{3}\,L_{xxx}+3\,L_{x}^{2}\,L_{y}\,L_{xxy}+3\,L_{x}\,L_{y}^{2}\,L_{xyy}+L_{y}^{3}\,L_{yyy}\leq 0}$

(додаткову інформацію див. у статті про виявляння контурів). Примітно, що отримані таким чином контури є хребтами величини градієнта.

• Виявляння плям
• Комп'ютерне бачення
• Виявляння контурів
• Виявляння ознак (комп'ютерне бачення)
• Виявляння особливих точок
• Простір масштабів