Görüntü momenti

Görüntü işleme, bilgisayarla görme ve ilgili alanlarda, bir görüntü momenti, görüntü piksellerinin yoğunluklarının belirli bir ağırlıklı ortalaması (momenti) veya genellikle çekici bir özelliğe veya yoruma sahip olmak üzere seçilen bu tür momentlerin bir fonksiyonudur.

Görüntü momentleri, segmentasyondan sonra nesneleri tanımlamak için daha kullanışlıdır. Görüntü momentleri aracılığıyla bulunan görüntünün basit özellikleri, alanı (veya toplam yoğunluğu), ağırlık merkezini ve yönelimi hakkındaki bilgileri içermektedir.

Ham momentler

2B sürekli bir fonksiyon f(x,y) için (p+q) mertebesinin momenti (bazen "ham moment" olarak adlandırılır) şu şekilde tanımlanmaktadır:

${\displaystyle M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy}$

p,q = 0,1,2,... için piksel yoğunlukları I(x,y) olan skaler (gri tonlamalı) görüntüye uyarlayarak, ham görüntü momentleri M_ij şu şekilde hesaplanmaktadır:

${\displaystyle M_{ij}=\sum _{x}\sum _{y}x^{i}y^{j}I(x,y)\,\!}$

Bazı durumlarda bu, görüntüyü bir olasılık yoğunluk fonksiyonu olarak ele alarak hesaplanmaktadır. Örnek olarak yukarıdakileri bölerek hesaplanabilir.

${\displaystyle \sum _{x}\sum _{y}I(x,y)\,\!}$

Bir teklik teoremi (Hu [1962]), f(x,y) parçalı sürekli ise ve xy düzleminin yalnızca sonlu bir bölümünde, sıfır olmayan değerlere sahipse, tüm derecelerin momentlerinin ve moment dizisinin (Mpq) olduğunu belirtmektedir. f(x,y) ile benzersiz bir şekilde belirlenmektedir. Bunun aksine, (Mpq) benzersiz olarak f(x,y)'yi belirlemektedit. Pratikte görüntü, birkaç alt sıralı momentin işlevleriyle özetlenmektedir.

Örnekler

Ham anlar yoluyla elde edilen basit görüntü özellikleri şunları içermektedir:

• Alan (ikili görüntüler için) veya gri düzeyin toplamı (gri tonlu görüntüler için): ${\displaystyle M_{00}}$
• Merkez: ${\displaystyle \{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}}$

Merkezi momentler

Merkezi momentler şu şekiilde tanımlanmaktadır.

${\displaystyle \mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy}$

burada ${\displaystyle {\bar {x}}={\frac {M_{10}}{M_{00}}}}$ ve${\displaystyle {\bar {y}}={\frac {M_{01}}{M_{00}}}}$ merkezin bileşenleridir.

Eğerƒ(x, y) dijital görüntü ise, önceki denklem şu şekilde düzenlenmektedir:

${\displaystyle \mu _{pq}=\sum _{x}\sum _{y}(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)}$

3'e kadar olan durumun merkezi momentleri:

${\displaystyle \mu _{00}=M_{00},\,\!}$

${\displaystyle \mu _{01}=0,\,\!}$

${\displaystyle \mu _{10}=0,\,\!}$

${\displaystyle \mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},}$

${\displaystyle \mu _{20}=M_{20}-{\bar {x}}M_{10},}$

${\displaystyle \mu _{02}=M_{02}-{\bar {y}}M_{01},}$

${\displaystyle \mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},}$

${\displaystyle \mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},}$

${\displaystyle \mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},}$

${\displaystyle \mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.}$

Şunlar gösterilebilir:

${\displaystyle \mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}}$

Merkezi momentler öteleme değişmezidir.

Örnekler

Görüntü yönelimi hakkında bilgi, bir kovaryans matrisi oluşturmak için ilk olarak ikinci dereceden merkezi momentler kullanılarak elde edilmektedir.

${\displaystyle \mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}}$

${\displaystyle \mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}}$

${\displaystyle \mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}}$

I(x,x) görüntüsünün kovaryans matrisi ;

${\displaystyle \operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}}$.

Bu matrisin özvektörleri, görüntü yoğunluğunun ana ve küçük eksenlerine karşılık gelmektedir. Bu nedenle yönlendirme, en büyük özdeğer ile ilişkili özvektörün bu özvektöre en yakın eksene doğru açısından çıkarılmaktadır. Bu açının "Θ" aşağıdaki formül ile bulunmaktadır:

${\displaystyle \Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)}$

Yukarıdaki formül şu sürece geçerlidir:

${\displaystyle \mu '_{20}-\mu '_{02}\neq 0}$

Kovaryans matrisinin özdeğerleri kolaylıkla şu şekilde gösterilmektedir:

${\displaystyle \lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},}$

ve özvektör eksenlerinin kare uzunluğunun karesiyle orantılıdır. Özdeğerlerin büyüklüğündeki nispi fark, bu nedenle, görüntünün eksantrikliğinin veya ne kadar uzun olduğunun bir göstergesidir. Eksantriklik ise;

${\displaystyle {\sqrt {1-{\frac {\lambda _{2}}{\lambda _{1}}}}}}$

şekilnde gösterilmektedir.

Moment değişmezleri

Momentler, belirli dönüşüm sınıflarına göre değişmezleri türetmek için kullanılabildiklerinden, görüntü analizindeki uygulamalarıyla iyi bilinmektedir.

Değişmez momentler terimi bu bağlamda sıklıkla kötüye kullanılmaktadır. Bununla birlikte, değişmez olan tek moment merkezi momentltir.

Aşağıda ayrıntıları verilen değişmezlerin yalnızca sürekli etki alanında tam olarak değişmez olduğuna dikkat edilmektedir. Ayrık bir alanda, ne ölçekleme ne de döndürme iyi tanımlanmıştır. Bu şekilde dönüştürülmüş ayrı bir görüntü genellikle bir yaklaşıklıktır. Ayrıca, dönüşüm geri döndürülemez. Bu değişmezler, bu nedenle, ayrı bir görüntüdeki bir şekli tanımlarken yalnızca yaklaşık olarak değişmezdir.

Çeviri değişmezleri

Herhangi bir düzenin merkezi momentleri μ_{i j}, yapım gereği, ötelemelere göre değişmezdir.

Ölçek değişmezleri

Hem öteleme hem de ölçeğe göre η_{i j} değişmezleri, düzgün ölçeklendirilmiş sıfırıncı merkezi momente bölünerek merkezi momentlerden oluşturulmaktadır:

${\displaystyle \eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}\,\!}$

burada i + j ≥ 2 olmalıdır. Translasyonel değişmezliğin yalnızca merkezi momentleri kullanarak doğrudan takip ettiği unutulmamalıdır.

Dönme değişmezleri

Hu'nun çalışmasında gösterildiği gibi, öteleme, ölçek ve döndürme ile ilgili değişmezler oluşturulmaktadır:

${\displaystyle I_{1}=\eta _{20}+\eta _{02}}$

${\displaystyle I_{2}=(\eta _{20}-\eta _{02})^{2}+4\eta _{11}^{2}}$

${\displaystyle I_{3}=(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}}$

${\displaystyle I_{4}=(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}}$

${\displaystyle I_{5}=(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]}$

${\displaystyle I_{6}=(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})}$

${\displaystyle I_{7}=(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}].}$

Bunlar Hu moment değişmezleri olarak bilinmektedir.

İlki, I₁, piksellerin yoğunluğunun fiziksel yoğunluğa benzer olduğu, görüntünün merkezi etrafındaki atalet momentine benzemektedir. İlk altı, I₁ ... I₆, yansıma simetriktir. Yani görüntü ayna görüntüsüne dönüştürülürse değişmez. Sonuncusu, I₇, yansıma antisimetriktir. Aksi takdirde özdeş görüntülerin ayna görüntülerini ayırt etmesini sağlamaktadır.

J. Flusser tarafından tam ve bağımsız dönme momenti değişmezleri türetilmesi üzerine genel bir teori öretilmiştir. Geleneksel Hu moment değişmezlerinin ne bağımsız ne de tam olduğunu göstermiştir. I₃, diğerlerine bağlı olduğu için pek kullanışlı değildir. Orijinal Hu kümesinde eksik bir üçüncü dereceden bağımsız moment değişmezi vardır:

${\displaystyle I_{8}=\eta _{11}[(\eta _{30}+\eta _{12})^{2}-(\eta _{03}+\eta _{21})^{2}]-(\eta _{20}-\eta _{02})(\eta _{30}+\eta _{12})(\eta _{03}+\eta _{21})}$

I₇ gibi, I₈ de yansıma antisimetriktir.

Daha sonra, J. Flusser ve T. Suk, N-dönmeli simetrik şekiller için teoriyi geliştirmişlerdir.

Uygulamalar

Zhang ve diğer çalışanlar, Patolojik Beyin Tespiti (PBD) problemini çözmek için Hu moment değişmezlerini uygulamışlardır. Doerr ve Florence, mikro X-ışını tomografi görüntü verilerinden öteleme ve dönme ile değişmeyen nesne kesitlerini etkin bir şekilde çıkarmak için ikinci dereceden merkezi momentlerle ilgili nesne yönelimi bilgilerini kullanmışlardır.

Dış bağlantılar

• İkili Görüntülerin Analizi 23 Ekim 2019 tarihinde Wayback Machine sitesinde ., Edinburgh Üniversitesi
• İstatistiksel Momentler 22 Ekim 2019 tarihinde Wayback Machine sitesinde ., Edinburgh Üniversitesi
• Varyant momentler 6 Ağustos 2019 tarihinde Wayback Machine sitesinde ., Makine Algısı ve Bilgisayarla Görme sayfası (Matlab ve Python kaynak kodu)
• Hu Momentleri 4 Mayıs 2016 tarihinde Wayback Machine sitesinde . YouTube'da tanıtım videosu
• Gist 9 Temmuz 2021 tarihinde Wayback Machine sitesinde . Bu sayfanın uygulanması, jupyter ve python

Kaynakça

1. ^ M. K. Hu, "Visual Pattern Recognition by Moment Invariants", IRE Trans. Info. Theory, vol. IT-8, pp.179–187, 1962
2. ^ http://docs.opencv.org/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments 24 Şubat 2014 tarihinde Wayback Machine sitesinde . Hu Moments' OpenCV method
3. ^ J. Flusser: "On the Independence of Rotation Moment Invariants 22 Aralık 2018 tarihinde Wayback Machine sitesinde .", Pattern Recognition, vol. 33, pp. 1405–1410, 2000.
4. ^ J. Flusser and T. Suk, "Rotation Moment Invariants for Recognition of Symmetric Objects 14 Temmuz 2020 tarihinde Wayback Machine sitesinde .", IEEE Trans. Image Proc., vol. 15, pp. 3784–3790, 2006.
5. ^ Zhang, Yudong; Wang, Shuihua; Sun, Ping; Phillips, Preetha (1 Ocak 2015). "Pathological brain detection based on wavelet entropy and Hu moment invariants". Bio-Medical Materials and Engineering (İngilizce). 26 (s1): S1283-S1290. doi:10.3233/BME-151426. ISSN 0959-2989. 9 Temmuz 2021 tarihinde kaynağından . Erişim tarihi: 6 Temmuz 2021. 
6. ^ "A micro-XRT image analysis and machine learning methodology for the characterisation of multi-particulate capsule formulations". International Journal of Pharmaceutics: X (İngilizce). 2: 100041. 1 Aralık 2020. doi:10.1016/j.ijpx.2020.100041. ISSN 2590-1567. (PMC) 6997304 $2. (PMID) 32025658. 9 Temmuz 2021 tarihinde kaynağından . Erişim tarihi: 6 Temmuz 2021. KB1 bakım: PMC biçimi ()