Termal görüntüleme, son yıllarda gelişen termal kamera teknolojileri ile birlikte birçok farklı sektörde kullanılmaya başlanmıştır. İnsan vücut sıcaklıklarının gösterdiği asimetrik durumların enfeksiyon, enflamasyon gibi çeşitli rahatsızlıkların bir belirteci olduğu bilinmektedir. Bu asimetrilerin belirlenmesi için geliştirilen görüntü işleme yaklaşımlarında insan vücudunun doğru tespit edilmesi ve arka plandan ayırt edilebilmesi oldukça önemlidir. Bu çalışmada, insan alt ve üst ekstremite termal görüntülerinden oluşturulan veri setleri ile U-Net segmentasyon modelleri geliştirilmiştir.
Termal görüntüler, "Flir-E75" serisi termal kameralar ile elde edilmiştir ve bu kameralar, 0.03°C hassasiyetinde 320×240 boyutunda görüntüler vermektedir. Çalışmada kullanılan U-Net modeli, insan vücudunun alt ve üst ekstremite görüntülerinin segmentasyonunu başarılı bir şekilde gerçekleştirmiştir.
Veri Seti ve Yöntem:
Bu çalışmada eğitim ve test işlemlerinde kullanılmak üzere insan vücudunun alt ve üst ekstremite görüntülerinden oluşan veri setleri oluşturulmuştur. Her alt ve üst ekstremite için 120 adet orijinal etiketlenmiş görüntü bulunmaktadır. Bu orijinal görüntüler, "PhotoShop" uygulaması üzerinden insan vücudunun dış çevresi işaretlenip arka plandan ayrılarak ikili (arka plan beyaz, ilgili bölüm siyah olacak şekilde) etiketlenmiş görüntüler haline getirilmiştir. Alt görüntüler için 3808 adet, üst görüntüler için 4414 adet sentetik veri elde edilmiştir. Veri artırma sürecinde "Albumentations" görme aracı kullanılmıştır. Parlaklık ayarı, rastgele kırpma, yatayda çevirme ve blurlama işlemleri veri artırma yöntemleri olarak kullanılmıştır.
Segmentasyon Modeli:
Segmentasyon modeli olarak U-Net mimarisi kullanılmıştır. U-Net mimarisi, az veri ile yüksek performans veren ve hızlı bir ağ yapısına sahip olan evrişimsel bir sinir ağıdır. U-Net, bir köprü aracılığı ile bağlanan 4 kodlayıcı ve 4 kod çözücü bloktan oluşan U şeklinde bir kodlayıcı/kod çözücü mimarisidir. Atlama bağlantıları geri yayılım sırasında daha iyi gradyan akışına yardımcı olmaktadır. Çalışma için geliştirilen U-Net segmentasyon modelinin mimarisi şekil 3'de görülmektedir.
Deneysel Sonuçlar:
Alt ve üst ekstremite görüntüleri ile oluşturulmuş iki ayrı veri seti üzerinde eğitilen U-Net modeli için epoch değeri 200 olarak seçilmiştir. Oluşturulan iki ayrı model üzerinde ayrı ayrı eğitim işlemi gerçekleştirilmiştir. Eğitilen segmentasyon modellerinin test veri setleri üzerindeki doğruluk değerleri üç ayrı metrik kullanılarak elde edilmiştir.
Üst Ekstremite Veri Seti İçin Değerlendirmeler:
Üst ekstremite eğitim veri seti 4414 adet sentetik veriden oluşturulmuştur. 120 adet orijinal etiketlenmiş görüntü test seti olarak ayrılmış ve model değerlendirmesinde kullanılmıştır. Test sonuçlarına göre piksel doğruluğu %92.70, ortalama IoU %91.79 ve dice katsayısı değeri %98.87 olarak elde edilmiştir.
Alt Ekstremite Veri Seti İçin Değerlendirmeler:
Alt ekstremite eğitim veri seti 3808 adet sentetik veriden oluşturulmuştur. 120 adet orijinal etiketlenmiş görüntü test seti olarak ayrılmıştır. Test sonuçlarına göre metrik sonuçları piksel doğruluğu için %86.25, ortalama IoU %72.33 ve dice katsayısı için %93.49 olarak kaydedilmiştir. Alt ekstremite görüntülerinde, kullanılan termal kameranın önceden tanımlanmış sabit ekran görsellerinin bazı görüntülerde vücut bölümleri ile çakıştığı gözlemlenmiştir. Bu noktalarda modelin segmentasyon performansının düştüğü ve bu durumun IoU değerini etkilediği değerlendirilmektedir.
Sonuç:
Bu blog yazısında, termal görüntüleme teknolojisinin insan vücudu üzerindeki kullanımı ve U-Net segmentasyon modelleri ile elde edilen sonuçlar ele alınmaktadır. Alt ve üst ekstremite termal görüntülerinin doğrulukla segmentasyonu, termografinin tıbbi uygulamalarda ve sporcu takibinde önemli bir araç olduğunu göstermektedir.