Machine and deep learning based analysis of tumors on FDG-PET images

Abstract

Analysis of a tumor is essential in treatment planning and evaluation of treatment response. Positron Emission Tomography (PET) is a vital imaging device for clinical oncology in understanding the metabolic structure of the tumor. In this thesis, three separate studies investigating the application of machine, deep learning and statistical approaches on FDG-PET images from patients with non-small cell lung cancer (NSCLC) and pancreatic cancer. The first study aimed at performing a survey on subtype classification of NSCLC by using different texture features, feature selection methods and classifiers. Images from 92 patients and several clinical and metabolic features for each case were used in this study along with histopathological validation for the tumor subtype labeling. Stacking classifier resulted in 76% accuracy. The aim of our second study was to adapt an atrous (dilated) convolution-based tumor segmentation approach (DeepLabV3) on FDG-PET slices with maximum standard uptake value (SUVmax). MobileNet-v2 pretrained on ImageNet served as the backbone to DeepLabV3. The classification layer was interchanged with the Tversky loss layer which helped improve model's performance while the dataset was imbalanced. Images from 141 patients were employed and augmentation was performed in each training phase. Dice similarity index was obtained as 0.76 without preprocessing and 0.85 with preprocessing. The last study focused on determining the features to be used in the prognosis of pancreatic adenocarcinoma on FDG-PET images from 72 patients. Well-known texture, metabolic and physical features were extracted from tumor region that was determined with the help of random walk segmentation algorithm. On these features time-dependent ROC curve analysis was performed for 2-year overall survival (OS) prediction, and, in the univariable analyses, tumor size, energy, entropy, and strength were found to be significant predictors of OS.

Bir tümörün analizi, tedavi planlamasında ve tedavi yanıtının değerlendirilmesinde esastır. Pozitron Emisyon Tomografisi (PET), tümörün metabolik yapısını anlamada klinik onkoloji için hayati bir görüntüleme cihazıdır. Bu tezde, küçük hücreli dışı akciğer kanseri (KHDAK) ve pankreas kanseri olan hastalardan alınan FDG PET görüntüleri üzerinde makine öğrenmesi, derin öğrenme ve istatistiksel yaklaşımların uygulanmasını araştıran üç ayrı çalışma yer almaktadır. İlk çalışma, farklı doku özellikleri, öznitelik seçim yöntemleri ve sınıflandırıcılar kullanılarak KHDAK'nin alt tip sınıflandırmasına odaklanmıştır. Bu çalışmada, tümör alt tipi etiketlemesi için histopatolojik doğrulama ile birlikte 92 hastanın görüntüleri ve her vaka için çeşitli klinik ve metabolik özellikler kullanılmıştır. İstifleme sınıflandırıcısı %76 doğrulukla sonuçlanmıştır. İkinci çalışmamızın amacı, maksimum standart alım değeri (SUVmax) bulunan FDG PET dilimlerinde atröz (dilate) evrişim tabanlı tümör segmentasyon yaklaşımını (DeepLabV3) uyarlamaktır. DeepLabV3'ün omurgası olarak ImageNet üzerinde önceden eğitilmiş MobileNet-v2 kullanılmıştır. Sınıflandırma katmanı, veri kümesi dengesizken modelin performansını iyileştirmeye yardımcı olan Tversky kayıp katmanıyla değiştirilmiştir. Her eğitim aşamasında 141 hastadan görüntüler ve büyütme kullanılmıştır. Dice benzerlik indeksi ön işleme olmadan 0,76 ve ön işleme ile 0,85 olarak elde edilmiştir. Son çalışma, 72 hastanın FDG PET görüntülerinde pankreas adenokarsinomunun prognozunda kullanılacak özelliklerin belirlenmesine odaklanmıştır. Rastgele yürüyüş segmentasyon algoritmasından yararlanarak elde edilen tümör bölgesinden, en sık kullanılan tekstür özellikleri, metabolk ve fiziksel özellikler çıkarılmış ve bu özellikler üzerinde, 2 yıllık genel sağkalım (GS) tahmini için zamana bağlı ROC eğrisi analizi gerçekleştirilmiştir. Tek değişkenli analizlerde, tümör boyutu, enerjisi, entropi ve gücü, GS'nin önemli belirleyicileri olarak tespit edilmiştir.