İnternet kullanımının yaygınlaşması ile birlikte, siber saldırıların sayısı ve karmaşıklığı da artmaktadır. Bu durum saldırı tespit sistemi oluşturmada önemli bir rol oynayan geleneksel makine öğrenmesi tekniklerinin yetersiz kalmasına sebep olmaktadır. Derin öğrenme temelli yaklaşımlar bu sorunu belirli oranda çözmüştür ancak bu yöntemler, ağ trafiği verilerindeki dengesizlik sebebiyle düşük miktarda veri içeren atakların tespitinde başarısız olmaktadır. Bu tez çalışmasında farklı atak türlerin tespiti için iki farklı yöntem önerilmiştir. Tez çalışmasının ilk aşamasında Probe, DoS, U2R ve R2L ataklarının tespiti için hem makine öğrenmesi hem de derin öğrenme temelli yöntemlerin avantajlarını kullanan hibrit bir saldırı tespit sistemi geliştirilmiştir. Geliştirilen sistemde ilk aşamada TPE yöntemi kullanılarak optimize edilmiş XGBoost algoritması kullanılmıştır. İkinci aşamada da atak olarak tespit edilen verilerin türlerinin tespiti için özgün bir DFNN modeli önerilmiştir. Önerilen sistemin başarımını değerlendirmek için NSL-KDD veri seti kullanılmıştır. Önerilen hibrit model, geleneksel yöntemlere ve son zamanlarda önerilen tekniklere kıyasla daha iyi bir sınıflandırma başarımı göstermiştir. Tez çalışmasının ikinci aşamasında DNS üzerinden gerçekleştirilen ve yaygın olarak kullanılan DNS tünelleme tehditlerini önlemek için canlı ağlarda gerçek zamanlı çalışan derin öğrenme tabanlı bir sistem geliştirilmiştir. Önerilen sistemin canlı ağlar üzerinde tehdit anında karar verme özelliği, çalışmanın özgünlüklerinden bir tanesidir. DNS tünelleme tespiti, ağ içerisinde gerçek zamanlı olarak çıkarılan özellikler kullanılarak derin ağ tabanlı karar mekanizmaları ile gerçekleştirilmiştir. Testler esnasında sistem gerçek zamanlı olarak gelen tehditleri önleyecek şekilde ağa entegre edilmiştir. Test sonuçları, DNS protokolü üzerinden yapılan tünel saldırılarının neredeyse tamamının, sistemin gerçek zamanlı olarak çalışmasında herhangi bir gecikemeye sebep olmadan engellendiğini göstermiştir.
The number and complexity of cyber-attacks grow in parallel with the increasing use of the Internet. As a result, traditional machine learning techniques which play an important role in intrusion detection systems become inadequate. Deep Learning-based approaches resolve this problem to a certain extent; however, these methods fail to detect the attacks with a small amount of data due to the unbalanced network traffic data. In this thesis, two different methods have been proposed for the detection of different attack types. In the first phase of the thesis, a hybrid intrusion detection system which uses the advantages of both machine learning and deep learning-based methods is developed to detect Probe, DoS, U2R and R2L attacks. In this system, data are classified in binary as attack and normal, in the first phase. For this task, XGBoost algorithm optimized by TPE method is used. In the second phase, in order to classify the types of data that are detected as attack, a unique DFNN model is proposed. NSL-KDD dataset is used to evaluate the performance of the proposed system. The proposed hybrid model demonstrates a better classification performance compared to traditional methods and other recently proposed techniques. In the second phase of the thesis, a real-time deep learning-based system is developed on live networks to prevent common DNS tunneling attacks which use over DNS. The decision-making capability of the proposed system at the instant of threat on a live system is the particular feature of the study. DNS tunneling detection is been carried out by deep network-based decision mechanisms, using real-time extracted features within the network. During tests, the system is integrated into the network to prevent incoming attacks in real-time. Test results are shown that almost all tunnel attacks over the DNS protocol are blocked without causing any delay in the operation of the system in real-time.
