U-Net, Freiburg Üniversitesi Bilgisayar Bilimleri Bölümü'nde biyomedikal alanlardaki görüntü işleme çalışmalarında bölümleme yapmak için geliştirilmiş bir evrişimsel sinir ağıdır. Ağ mimarisi, tamamen evrişimli ağa dayanmaktadır ve daha az eğitim görüntüsü ile çalışmak ve daha hassas bölümlemeler sağlamak için değiştirilmiş ve genişletilmiştir. Arıca bu ağ o kadar hızlıdır ki, 512x512 piksellik bir görüntünün bölümlemesi GPU’da 1 saniyeden daha kısa sürer.
Açıklama
U-Net mimarisi, ilk olarak Long, Shelhamer ve Darrell tarafından önerilen "tam evrişimli ağ" sözü ile ortaya atılmıştır.
U-Net'teki önemli bir geliştirme, üst örnekleme bölümünde, ağın bağlam bilgisini daha yüksek çözünürlüklü katmanlara yaymasına izin veren çok sayıda özellik kanalı olmasıdır. Sonuç olarak, genişleyen yol, daralma yoluna simetriktir ve u-şekilli bir mimari sağlar. Ağ, tamamen bağlantılı katmanlar olmadan her evrişimin yalnızca geçerli kısmını kullanır. Görüntünün kenarlık bölgesindeki pikselleri tahmin etmek için, eksik bağlam giriş görüntüsünün aynalanmasıyla tahmin edilir. Bu yerleştirme stratejisi, ağı büyük görüntülere uygulamak için önemlidir, çünkü aksi takdirde çözünürlük GPU belleği ile sınırlı olacaktır.
Evrişimli ağların genel kullanımı, bir görüntünün çıktısının tek bir sınıf etiketi olduğu sınıflandırmalar şeklindedir. Ancak birçok görsel görevde, özellikle biyomedikal görüntü işlemede, istenen çıktının yerelleşmeyi içermesi gerekir. Kısaca her piksele bir sınıf etiketi atanmalıdır. Her pikselin sınıf etiketini tahmin etmek için kayan pencere modelindeki bir ağı, o pikselin etrafında girdi olarak bir yerel bölge yapılarak eğitilmesi sağlanır. Ayrıca, biyomedikal görevlerde binlerce eğitim görüntüsüne genellikle ulaşılamaz. Bu nedenle, veri arttırma işlemi yapılır.
Ağ Mimarisi
Ağ, bir daralma yolu (sol taraf) ve bir genişleme yolundan (sağ taraf) oluşur. Bu yapı U şekilli mimariyi verir. Daralma yolu, normal bir evrişim ağının mimarisi gibi iki tane 3x3 konvolüsyonun tekrarlanarak uygulamasından oluşur. Bu uygulamalardan her biri, düzeltilmiş doğrusal birimden (ReLU) ve alt örnekleme için 2x2 maksimum havuzlama işlemleri ile oluşur. Her alt örnekleme adımında, özellik kanallarının sayısı ikiye katlanır (2^n). Genişleme yolu ise, özellik haritasının bir üst örneklemesinden ve özellik kanallarının sayısını yarıya indiren bir 2x2 evrişimden ("yukarı evrişim") meydana gelir. Ayrıca, daralma yolundan uygun şekilde kırpılmış özellik haritasıyla bir birleşmeden ve iki 3x3 evrişimden oluşur. Her bir evrişimin ardından bir ReLU işlemi uygulanır. Kırpma işlemi, her evrişimde kenar piksellerinin kaybı nedeniyle gereklidir. Son katmanda, her 64 bileşenli özellik vektörünü istenen sayıda sınıfa eşlemek için 1x1'lik bir evrişim kullanılır. Bu sinir ağı toplamda 23 tane katmana sahip olur.
Eğitim
Veri seti içerisindeki girdi görüntüleri ve bunlara karşılık gelen segmentasyon haritaları, bu sinir ağını stokastik gradyan iniş uygulamasıyla eğitmek için kullanır. Dolgusuz konvolüsyonlar nedeniyle, eğitim sonunda oluşan çıktı görüntü, eğitilen girdi görüntüden sabit bir kenar genişliği kadar daha küçüktür. Eğitim sırasında oluşacak olan ek yükleri en aza indirmek ve GPU belleğinden maksimum düzeyde yararlanmak için, toplu haldeki iş boyutu yerine büyük giriş yerleştirmeleri tercih edilir. Bu nedenle toplu iş tek görüntüye indirgenir. Bunun için, daha önce görülen eğitim örneklerinin büyük bir kısmının mevcut optimizasyon adımındaki güncellemeyi belirleyeceği şekilde yüksek bir momentum (0.99) kullanılır.
Veri Arttırma
Veri artırma işlemi, yalnızca birkaç eğitim örneği mevcut olduğunda (yeterli görsel bulunmadığında), ağa istenen değişmezlik ve sağlamlık özelliklerini öğretmek için gereklidir. Mikroskobik görüntülerde, öncelikle deformasyonlara karşı sağlamlığın yanı sıra kayma ve dönme değişmezliğine ve gri değer değişikliklerine karşı dayanıklılığa ihtiyaç vardır. Eğitim örneklerinin rastgele esnek deformasyonları, çok az sayıda açıklamalı görüntü içeren bir bölümleme ağını eğitmek için anahtar kavram gibi görünmektedir. Kalın bir 3x3 ızgara üzerinde rastgele yer değiştirme vektörleri kullanılarak pürüzsüz deformasyonlar oluşturulur. Yer değiştirmeler, 10 piksellik standart sapma ile bir Gauss dağılımından örneklenir. Piksel başına yer değiştirmeler daha sonra bikübik enterpolasyon kullanılarak hesaplanır. Daralan yolun sonundaki öğrenimini tamamlamayan (drop-out) katmanlar, daha fazla veri büyütme gerçekleştirir.
Uygulamalar
U-Net'in biyomedikal görüntü bölümlemesinde; beyin görüntü bölümlemesi ('' BRATS '') ve karaciğer görüntü bölümlemesi ("siliver07") gibi birçok uygulaması vardır. Tıbbi görüntünün yeniden yapılandırılması için de U-Net'in varyasyonları uygulanmıştır.
İşte U-Net'in bazı varyantları ve uygulamaları aşağıdaki gibidir:
- U-Net kullanarak piksel bazlı regresyon ve bunun görüntü kalitesini arttırması üzerine uygulaması;
- 3D U-Net: Seyrek Açıklamadan Yoğun Hacimsel Segmentasyonu Öğrenme;
- TernausNet: Görüntü Segmentasyonu için ImageNet üzerinde Önceden Eğitilmiş VGG11 Kodlayıcılı U-Net
Kaynakça
- ^ a b c Long, Jonathan; Shelhamer, Evan; Darrell, Trevor (8 Mart 2015). "Fully Convolutional Networks for Semantic Segmentation". arXiv:1411.4038 [cs]. 20 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ a b c d e Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas (18 Mayıs 2015). "U-Net: Convolutional Networks for Biomedical Image Segmentation". arXiv:1505.04597 [cs]. 18 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 18 Mayıs 2021.
- ^ "U-Net: Convolutional Networks for Biomedical Image Segmentation". lmb.informatik.uni-freiburg.de (Almanca). 20 Haziran 2015 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ "MICCAI BraTS 2017: Scope | Section for Biomedical Image Analysis (SBIA) | Perelman School of Medicine at the University of Pennsylvania". www.med.upenn.edu (İngilizce). 25 Mayıs 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ "SLIVER07 : Home". www.sliver07.org. 29 Mayıs 2008 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ Andersson, Jonathan; Ahlström, Håkan; Kullberg, Joel (2019). "Separation of water and fat signal in whole‐body gradient echo scans using convolutional neural networks". Magnetic Resonance in Medicine. 82 (3): 1177-1186. doi:10.1002/mrm.27786. ISSN 0740-3194. (PMC) 6618066 $2. (PMID) 31033022.
- ^ "Pixel-wise regression using U-Net and its application on pansharpening". Neurocomputing (İngilizce). 312: 364-371. 27 Ekim 2018. doi:10.1016/j.neucom.2018.05.103. ISSN 0925-2312. 20 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ Çiçek, Özgün; Abdulkadir, Ahmed; Lienkamp, Soeren S.; Brox, Thomas; Ronneberger, Olaf (21 Haziran 2016). "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation". arXiv:1606.06650 [cs]. 18 Nisan 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
- ^ Iglovikov, Vladimir; Shvets, Alexey (17 Ocak 2018). "TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation". arXiv:1801.05746 [cs]. 20 Mayıs 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 20 Mayıs 2021.
wikipedia, wiki, viki, vikipedia, oku, kitap, kütüphane, kütübhane, ara, ara bul, bul, herşey, ne arasanız burada,hikayeler, makale, kitaplar, öğren, wiki, bilgi, tarih, yukle, izle, telefon için, turk, türk, türkçe, turkce, nasıl yapılır, ne demek, nasıl, yapmak, yapılır, indir, ücretsiz, ücretsiz indir, bedava, bedava indir, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, resim, müzik, şarkı, film, film, oyun, oyunlar, mobil, cep telefonu, telefon, android, ios, apple, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, pc, web, computer, bilgisayar
U Net Freiburg Universitesi Bilgisayar Bilimleri Bolumu nde biyomedikal alanlardaki goruntu isleme calismalarinda bolumleme yapmak icin gelistirilmis bir evrisimsel sinir agidir Ag mimarisi tamamen evrisimli aga dayanmaktadir ve daha az egitim goruntusu ile calismak ve daha hassas bolumlemeler saglamak icin degistirilmis ve genisletilmistir Arica bu ag o kadar hizlidir ki 512x512 piksellik bir goruntunun bolumlemesi GPU da 1 saniyeden daha kisa surer AciklamaU Net mimarisi ilk olarak Long Shelhamer ve Darrell tarafindan onerilen tam evrisimli ag sozu ile ortaya atilmistir U Net teki onemli bir gelistirme ust ornekleme bolumunde agin baglam bilgisini daha yuksek cozunurluklu katmanlara yaymasina izin veren cok sayida ozellik kanali olmasidir Sonuc olarak genisleyen yol daralma yoluna simetriktir ve u sekilli bir mimari saglar Ag tamamen baglantili katmanlar olmadan her evrisimin yalnizca gecerli kismini kullanir Goruntunun kenarlik bolgesindeki pikselleri tahmin etmek icin eksik baglam giris goruntusunun aynalanmasiyla tahmin edilir Bu yerlestirme stratejisi agi buyuk goruntulere uygulamak icin onemlidir cunku aksi takdirde cozunurluk GPU bellegi ile sinirli olacaktir Evrisimli aglarin genel kullanimi bir goruntunun ciktisinin tek bir sinif etiketi oldugu siniflandirmalar seklindedir Ancak bircok gorsel gorevde ozellikle biyomedikal goruntu islemede istenen ciktinin yerellesmeyi icermesi gerekir Kisaca her piksele bir sinif etiketi atanmalidir Her pikselin sinif etiketini tahmin etmek icin kayan pencere modelindeki bir agi o pikselin etrafinda girdi olarak bir yerel bolge yapilarak egitilmesi saglanir Ayrica biyomedikal gorevlerde binlerce egitim goruntusune genellikle ulasilamaz Bu nedenle veri arttirma islemi yapilir Ag MimarisiU net Mimarisi Ag bir daralma yolu sol taraf ve bir genisleme yolundan sag taraf olusur Bu yapi U sekilli mimariyi verir Daralma yolu normal bir evrisim aginin mimarisi gibi iki tane 3x3 konvolusyonun tekrarlanarak uygulamasindan olusur Bu uygulamalardan her biri duzeltilmis dogrusal birimden ReLU ve alt ornekleme icin 2x2 maksimum havuzlama islemleri ile olusur Her alt ornekleme adiminda ozellik kanallarinin sayisi ikiye katlanir 2 n Genisleme yolu ise ozellik haritasinin bir ust orneklemesinden ve ozellik kanallarinin sayisini yariya indiren bir 2x2 evrisimden yukari evrisim meydana gelir Ayrica daralma yolundan uygun sekilde kirpilmis ozellik haritasiyla bir birlesmeden ve iki 3x3 evrisimden olusur Her bir evrisimin ardindan bir ReLU islemi uygulanir Kirpma islemi her evrisimde kenar piksellerinin kaybi nedeniyle gereklidir Son katmanda her 64 bilesenli ozellik vektorunu istenen sayida sinifa eslemek icin 1x1 lik bir evrisim kullanilir Bu sinir agi toplamda 23 tane katmana sahip olur KonvolusyonEgitimVeri seti icerisindeki girdi goruntuleri ve bunlara karsilik gelen segmentasyon haritalari bu sinir agini stokastik gradyan inis uygulamasiyla egitmek icin kullanir Dolgusuz konvolusyonlar nedeniyle egitim sonunda olusan cikti goruntu egitilen girdi goruntuden sabit bir kenar genisligi kadar daha kucuktur Egitim sirasinda olusacak olan ek yukleri en aza indirmek ve GPU belleginden maksimum duzeyde yararlanmak icin toplu haldeki is boyutu yerine buyuk giris yerlestirmeleri tercih edilir Bu nedenle toplu is tek goruntuye indirgenir Bunun icin daha once gorulen egitim orneklerinin buyuk bir kisminin mevcut optimizasyon adimindaki guncellemeyi belirleyecegi sekilde yuksek bir momentum 0 99 kullanilir Veri Arttirma Veri artirma islemi yalnizca birkac egitim ornegi mevcut oldugunda yeterli gorsel bulunmadiginda aga istenen degismezlik ve saglamlik ozelliklerini ogretmek icin gereklidir Mikroskobik goruntulerde oncelikle deformasyonlara karsi saglamligin yani sira kayma ve donme degismezligine ve gri deger degisikliklerine karsi dayanikliliga ihtiyac vardir Egitim orneklerinin rastgele esnek deformasyonlari cok az sayida aciklamali goruntu iceren bir bolumleme agini egitmek icin anahtar kavram gibi gorunmektedir Kalin bir 3x3 izgara uzerinde rastgele yer degistirme vektorleri kullanilarak puruzsuz deformasyonlar olusturulur Yer degistirmeler 10 piksellik standart sapma ile bir Gauss dagilimindan orneklenir Piksel basina yer degistirmeler daha sonra bikubik enterpolasyon kullanilarak hesaplanir Daralan yolun sonundaki ogrenimini tamamlamayan drop out katmanlar daha fazla veri buyutme gerceklestirir UygulamalarU Net in biyomedikal goruntu bolumlemesinde beyin goruntu bolumlemesi BRATS ve karaciger goruntu bolumlemesi siliver07 gibi bircok uygulamasi vardir Tibbi goruntunun yeniden yapilandirilmasi icin de U Net in varyasyonlari uygulanmistir Iste U Net in bazi varyantlari ve uygulamalari asagidaki gibidir U Net kullanarak piksel bazli regresyon ve bunun goruntu kalitesini arttirmasi uzerine uygulamasi 3D U Net Seyrek Aciklamadan Yogun Hacimsel Segmentasyonu Ogrenme TernausNet Goruntu Segmentasyonu icin ImageNet uzerinde Onceden Egitilmis VGG11 Kodlayicili U NetKaynakca a b c Long Jonathan Shelhamer Evan Darrell Trevor 8 Mart 2015 Fully Convolutional Networks for Semantic Segmentation arXiv 1411 4038 cs 20 Mayis 2021 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 a b c d e Ronneberger Olaf Fischer Philipp Brox Thomas 18 Mayis 2015 U Net Convolutional Networks for Biomedical Image Segmentation arXiv 1505 04597 cs 18 Mayis 2021 tarihinde kaynagindan arsivlendi Erisim tarihi 18 Mayis 2021 U Net Convolutional Networks for Biomedical Image Segmentation lmb informatik uni freiburg de Almanca 20 Haziran 2015 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 MICCAI BraTS 2017 Scope Section for Biomedical Image Analysis SBIA Perelman School of Medicine at the University of Pennsylvania www med upenn edu Ingilizce 25 Mayis 2017 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 SLIVER07 Home www sliver07 org 29 Mayis 2008 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 Andersson Jonathan Ahlstrom Hakan Kullberg Joel 2019 Separation of water and fat signal in whole body gradient echo scans using convolutional neural networks Magnetic Resonance in Medicine 82 3 1177 1186 doi 10 1002 mrm 27786 ISSN 0740 3194 PMC 6618066 2 PMID 31033022 Pixel wise regression using U Net and its application on pansharpening Neurocomputing Ingilizce 312 364 371 27 Ekim 2018 doi 10 1016 j neucom 2018 05 103 ISSN 0925 2312 20 Mayis 2021 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 Cicek Ozgun Abdulkadir Ahmed Lienkamp Soeren S Brox Thomas Ronneberger Olaf 21 Haziran 2016 3D U Net Learning Dense Volumetric Segmentation from Sparse Annotation arXiv 1606 06650 cs 18 Nisan 2021 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021 Iglovikov Vladimir Shvets Alexey 17 Ocak 2018 TernausNet U Net with VGG11 Encoder Pre Trained on ImageNet for Image Segmentation arXiv 1801 05746 cs 20 Mayis 2021 tarihinde kaynagindan arsivlendi Erisim tarihi 20 Mayis 2021