本研究為利用類神經網路進行唇語辨識，我們將唇語辨識視為 Seq2Seq 任務，輸入為圖片的 序列，輸出為字元 (character) 的序列。我們分為四個實驗，其中會使用同一種資料集但是 切割資料集方式不同分別稱為 Overlapped 和 Unseen，第一個實驗我們嘗試使用 3D CNN 加 上 GRU，第二個實驗並在每個影格的圖片進行提取並使用 2 維卷積加上 GRU 來進行訓 練，第三個實驗是使用 3D CNN + ResNet + Bi-GRU，第四個實驗為 3D CNN + ResNet + Transformer。我們的字元錯誤率 (Character Error Rate, CER) 在 Overlapped 中最低可以得到 2.4%，在 Unseen 中最低可以得到 8.4%。
- Python 3.8.11
- torch == 1.9.0 + cu102
- torchvision == 0.10.0+cu102
- scikit_learn == 0.24.2
- matplotlib == 3.4.2
- numpy == 1.19.5
- opencv-python == 4.5.3
使用 pip3 install -r requirements.txt 可一鍵安裝。
main.py : For training and validation
LCANet.py : modify from LCANet model
LipNet.py : modify from LipNet model
MH_model.py : 3D CNN + ResNet + Multi-Head Attention
cvtransforms.py : Data augmentation
dataset.py : Custom Dataset
Data_preprocessing : Video to time series image, data preprocessing
options.py : Hyperparameters