Performance Analysis of CNN Channel Attention Modules for Image Classification Task

Abstract

ncreasing the representation power of convolutional neural networks, a popular deep learning model, is one of the hot study topics recently. Channel attention is a common strategy followed in this regard. In this strategy, the inter-channel relationship is exploited by a module placed after the convolution operation. Recently, successful channel attention modules are proposed in this context. In this article, a performance analysis of three popular channel attention structures which are Squeeze-and-Excitation Networks (SeNet), Efficient Channel Attention Networks (Eca-Net), and Convolutional Block Attention Module (CBAM), is performed using five different image datasets for the classification task. According to the obtained results, SeNet is the most successful channel attention module surpassing the other’s performance in the majority of the experiments. In experiments with the ResNet18 and ResNet34 base models, the SeNet module showed the highest performance in three of the five datasets. For the ResNet50 baseline, SeNet was the channel attention module with the highest accuracy values for all datasets.

Popüler bir derin öğrenme modeli olan evrişimli sinir ağlarının temsil gücünün arttırılması, son zamanlarda sıcak çalışma konularından biridir. Kanal dikkati bu konuda izlenen yaygın bir stratejidir. Bu stratejide, konvolüsyon işleminden sonra yerleştirilen bir modül ile kanallar arası ilişkiden yararlanılır. Son zamanlarda, bu bağlamda başarılı kanal dikkat modülleri önerilmiştir. Bu makalede, üç popüler kanal dikkat yapısı olan Sıkıştır-ve-uyarım ağları (SeNet), Etkin Kanal Dikkat Ağları (Eca-Net) ve Evrişimsel Blok Dikkat Modülü (CBAM) üzerine beş farklı görüntü veriseti kullanılarak sınıflandırma görevi için performans analizi yapılmıştır. Elde edilen sonuçlara göre SeNet, deneylerin çoğunda diğerlerinin performansını geride bırakan en başarılı kanal dikkat modülü olmuştur. ResNet18 ve ResNet34 temel modelleriyle yapılan deneylerde, SeNet modülü beş veri kümesinden üçünde en yüksek performansı göstermiştir. ResNet50 temel modeli içinse SeNet, tüm veri kümeleri için en yüksek doğruluk değerlerine sahip kanal dikkat modülü olmuştur.