ELLE ÇİZİLMİŞ TASLAK ÇİZİMLERDE KULLANICI ARABİRİMİ ÖGELERİNİN DERİN ÖRNEK SEGMENTASYONU

Abstract

ÖZET

Kullanıcı arabirimi (UI), insanların bir makine, cihaz, bilgisayar programı ya da karmaşık aletlerle etkileşimini sağlayan yöntemlerin bileşkesine verilen addır. UI prototipleme, uygulama geliştirmenin ilk aşamalarında gerekli bir adımdır. Grafik kullanıcı arabiriminin taslak çizimlerini, kodlanmış bir UI uygulamasına dönüştürmek zaman alıcı bir görevdir. UI tasarımlarının basit bir şekilde uygulanması için insan çabası yerini alabilecek otomatik bir sistem, bu prosedürü büyük ölçüde hızlandıracaktır. Bu çalışmada, Mask Region-based Convolutional Neural Network (Mask R-CNN) ile elle çizilmiş UI ögelerinin otomatik tespiti ve segmentasyonu açıklanmaktadır. Mask R-CNN, bir görüntüdeki nesneleri verimli bir şekilde algılarken aynı zamanda her bir örnek için yüksek kaliteli bir segmentasyon maskesi oluşturur. Buna ek olarak, nesne olmayan bölgeler arka plan olarak nitelendirilmektedir. Veri kümesinde 370 eğitim görüntüsü ve eğitim kümesinde bulunmayan 87 test görüntüsü olmak üzere toplam 457 adet veri yer almaktadır. Elde edilen taslak çizimlerde eğitim verileri için 3315 UI ögesi bulunurken test görüntülerinde ise 941 adet UI ögesi bulunmaktadır. Görüntüler, derin sinir ağına verilmeden önce UI ögelerinin tespit işleminin kolaylaşması için ön işleme aşamasından geçirilmiştir. Performans sonucunun doğruluğu için test görüntüleri üzerinde Microsoft Common Objects in Context (MS COCO) doğruluk metriklerinden hassasiyet (precision) ve ortalama genel hassasiyet olan Mean Average Precision (mAP) değeri ölçülmüştür. Kademeli olarak iterasyon sayısı artırımı ile 300 dönem sayısına kadar transfer öğrenme stratejisi kullanılarak eğitim yapılmıştır. Sonuç olarak en iyi çıktı için 300 iterasyon sayısı ile precision değeri %93,75’e ulaşırken mAP değeri ise %98,48’e ulaşmıştır.

ABSTRACT

User interface (UI) is the combination of methods that enable people to interact with a machine, device, computer program, or complex tools. UI prototyping is a necessary step in the early stages of application development. Converting sketches of the graphical user interface into a coded UI application is a time-consuming task. An automated system that can replace human effort for simple implementation of UI designs will greatly speed up this procedure. This paper describes the automatic detection and segmentation of hand drawn UI elements with Mask Region-based Convolutional Neural Network (Mask R-CNN). Mask R-CNN efficiently detects objects in an image while also creating a high-quality segmentation mask for each sample. In addition, non-object regions qualify as background. The data set contains a total of 457 data, including 370 training images and 87 test images not included in the training set. While there are 3315 UI elements for training data in the draft drawings obtained, there are 941 UI elements in the test images. The images were pre-processed by taking the facilitate the detection of UI elements before being delivered to the deep neural network. For the accuracy of the performance result, precision from Microsoft Common Objects in Context (MS COCO) accuracy metrics and Mean Average Precision (mAP) value, which is the general average precision, were measured on the test images. With the gradual increase in the number of iterations, training was carried out by using the transfer learning strategy up to 300 epochs. As a result, the precision value reached 93.75% with 300 epochs for the best output, while the mAP value reached 98.48%.