餘弦卷積(Cosine-Convolution)通過使用濾波器和輸入影像或特徵圖中窗口化區塊的長度來規範標準的卷積操作
餘弦卷積利用向量之間的餘弦相似度來進行卷積操作,這樣做可以在局部範圍內應用正規化,使其對光照和環境變化更不敏感,餘弦卷積在局部層面應用,對光照和環境變化不敏感,結果範圍在 -1.0 到 1.0 之間,可以定義特徵圖中每個像素的重要性或權重
所提出的餘弦卷積可應用於局部層面,在與卷積核大小相同的小窗口區塊內。因此,它對光照和環境變化的敏感度較低。餘弦卷積操作得到的特徵圖值範圍在 -1.0 到 1.0 之間。因此,它們可以定義特徵圖空間維度中提取特徵的像素重要性或像素權重

這張圖展示了一個典型的卷積神經網絡(CNN)架構,用於影像分割任務。它展示了輸入影像如何通過多個卷積層(Conv.)和上採樣層(Upsample)最終產生分割輸出影像。以下是詳細的解釋:
1. 輸入影像(Input Image)
- 左上角的是輸入影像,它是進入整個卷積網絡的數據起點。
2. 卷積層(Conv.)
- 每個藍色框代表一個卷積層,框內的數字表示該層使用的濾波器數量(或稱為通道數)。
- 卷積層順序如下:
- 第一層:32 個濾波器
- 第二層:64 個濾波器
- 第三層:128 個濾波器
- 第四層:256 個濾波器
- 第五層:256 個濾波器(最底層)
3. 上採樣層(Upsample)
- 每個紅色框代表一個上採樣層,框內的數字表示上採樣後的通道數。
- 上採樣層順序如下:
- 第一層:32 個通道
- 第二層:64 個通道
- 第三層:128 個通道
- 第四層:256 個通道
- 第五層:256 個通道(最底層)
4. 串接(Concatenation)
- 圖中的圓圈和 “Concat.” 表示串接操作,這是將卷積層的輸出與對應的上採樣層的輸入在通道維度上進行合併。
- 具體過程如下:
- 每個卷積層的輸出被串接到對應的上採樣層的輸入。
- 例如,第一個卷積層(32 個濾波器)的輸出與第一個上採樣層(32 個通道)的輸入串接。
5. 上採樣
- 上採樣層將特徵圖的空間維度擴大,使其回到與輸入影像相同的尺寸。
- 每個上採樣層的輸出被送入下一個卷積層,這個過程逐層進行,直到最終輸出。