Transfer öğrenimi tabanlı evrişimli sinir ağlarını kullanan otomatik dental panoramik görüntü segmentasyonu / Tülin Çaylak; thesis advisor İmam Şamil Yetik.

Tez (Yüksek Lisans Tezi)--TOBB ETÜ Fen Bilimleri Enstitüsü Ağustos 2022

Radyolojik incelemelerde kullanılan X-Ray görüntüleri diş hekimlerinin hastanın problemini anlamak ve çözmek için başvurduğu temel verilerden biridir. Bu görüntülerden panoramik X-ray görüntüleri tüm ağız bölgesini göstermesi sebebiyle hastanın probleminin teşhis ve tedavisi açısından daha kapsamlıdır. Ayrıca diş harici birçok bölümü de içerdiğinden en karmaşık yapıya sahip görüntülerdir. Öte yandan kullanılan cihazlardan kaynaklı farklı görüntü niteliklerine sahiptirler. Bunlar göz önünde bulundurulduğunda panoramik X-ray görüntülerinin doğru işlenmesi zorlayıcı bir süreçtir ve başarılı bir şekilde analiz edilmesi büyük önem teşkil etmektedir. Bu süreci otomatik hale getirerek uzmanlara yardımcı olmak için çeşitli klasik görüntü işleme algoritmaları geliştirilmiştir. Yıllar boyunca veri setlerinin boyutlarının artması, kullanılan cihazların gelişmesi gibi etkenlerle birlikte derin öğrenme (DL) teknolojisi daha popüler hale gelmiş ve uygulama alanları genişlemiştir. Dolayısıyla klasik görüntü işleme algoritmalarının yanı sıra X-Ray görüntüleri birçok amaç için derin öğrenme (DL) teknolojisi kullanılarak da analiz edilmeye başlanmıştır. Fakat diş veri setlerinin boyutları diğer uygulama alanlarında bulunan veri setlerinin boyutlarına kıyasla oldukça azdır. Bu tezin amacı küçük veri v seti boyutu sorununa transfer yöntemi ile çözüm bularak panoramik X-ray görüntüleri ile başarılı bir diş segmentasyonu gerçekleştirmektir. Elde bulunan panoramik X-ray görüntülerinin boyutlarının farklılığını gidermek için bütün veri seti yeniden boyutlandırılarak aynı formatta olmaları sağlanmıştır. Seçilen görüntü düzenleme uygulamasıyla modellerin eğitiminde kullanılacak görüntü maskeleri oluşturulmuştur. Transfer öğrenme yöntemi için ihtiyaç duyulan önceden eğitilmiş derin öğrenme (DL) modeli olarak U-Net ve InceptionResNet-V2 modelleri seçilmiş ve iki farklı derin öğrenme mimarisi oluşturulmuştur. InceptionResNet-V2 modeli halka açık görüntü veri setiyle önceden eğitildiği için kütüphane olarak hazır halde bulunmaktadır. U-Net modeli ise halka açık olarak yayınlanan göğüs X-Ray veri seti ile eğitilmiştir. Önceden eğitilmiş modeller ile birleştirilerek panoramik X-ray görüntüleri üzerinden eğitilecek olan temel derin öğrenme (DL) modeli olarak U-Net mimarisi seçilmiştir. Böylece iki farklı derin öğrenme mimarisi oluşturularak eğitim gerçekleştirilmiştir. Modellerin veri ezberlemesine karşı veri artırma yöntemi bütün diş veri setine uygulanmıştır. Ayrıca erken sonlandırma yöntemiyle de yine veri ezberleme probleminin önüne geçilmiştir. Oluşturulan test veri seti kullanılarak modellerin doğrulukları zar katsayısıyla ölçülmüş ve sonuçlar karşılaştırılmıştır.

X-Ray images used in radiological examinations are one of the basic data that dentists apply to understand and solve the patient's problem. Panoramic X-ray images from these images are more comprehensive in terms of diagnosis and treatment of the patient's problem, since they show the entire mouth region. In addition, since it includes many parts other than teeth, they are the most complex images. On the other hand, they have different image qualities due to the devices used. With these in mind, the correct processing of panoramic X-ray images is a challenging process and successful analysis is of great importance. Various classical image processing algorithms have been developed to assist experts by automating this process. Over the years, deep learning (DL) technology has become more popular and its application areas have expanded with the increase in the size of the data sets and the development of the devices used. Therefore, in addition to classical image processing algorithms, X-Ray images have been started to be analyzed using deep learning (DL) technology for many purposes. However, the dimensions of dental datasets are quite small compared to the sizes of datasets found in other application areas. The aim of this thesis is to find a solution to the small data set size problem with the transfer method and to perform a successful tooth segmentation vii with panoramic X-ray images. In order to eliminate the differences in the sizes of the panoramic X-ray images available, the whole data set was resized to ensure that they were in the same format. The image masks to be used in the training of the models were created with the selected image editing application. U-Net and InceptionResNet-V2 models were chosen as the pre-trained deep learning (DL) model needed for the transfer learning method and two different deep learning architectures were created. Since the InceptionResNet-V2 model is pre-trained with the public image dataset, it is available as a library. The U-Net model, on the other hand, was trained with a publicly published chest X-Ray dataset. U-Net architecture was chosen as the basic deep learning (DL) model, which will be trained on panoramic X-ray images by combining with pre-trained models. Thus, training was carried out by creating two different deep learning architectures. Data augmentation method against data memorization of the models was applied to the whole dental data set. In addition, with the early termination method, the data memorization problem is prevented. Using the created test data set, the accuracy of the models was measured with the dice coefficient and the results were compared.