卷積核歸一化
王迪; 許勇; 李宏亮; 郝子宇 江南計算技術研究所; 江蘇無錫214083
關鍵詞：卷積核歸一化 批量歸一化 內部協方差位移 卷積神經網絡 深度學習
摘要：批量歸一化已被證明是深度學習模型中不可或缺的一層,可以有效處理深度神經網絡訓練過程中的內部協方差位移問題。但批量歸一化算法的效果依賴于批的大小,當批較小時,批量歸一化的效果較差。此外,批量歸一化也帶來了額外的計算量,需要更多的存儲空間。為了解決這些問題,文中提出一種新的歸一化算法——卷積核歸一化,對權重的輸出通道進行歸一化,同樣可以有效解決內部協方差位移問題。卷積核歸一化不依賴于批的大小,并且不需要計算輸入的均值和方差,相比批量歸一化減少了75%至81%的計算量。實驗證明,在批較小的時候,卷積核歸一化訓練收斂速度較快且準確率較高,比批量歸一化高0.9%至12%;在批較大的時候,卷積核歸一化與批量歸一化最高準確率誤差不超過1%。
計算機技術與發展雜志要求:
{1}參考文獻著錄格式請參照國家標準《文后參考文獻著錄規則》(GB7714-87)。
{2}鼓勵首發，反對抄襲、剽竊等侵犯他人著作權的行為。由此給本刊造成不良后果的，本刊將追究責任。
{3}本刊稿件從發表之日起，如無電子版、網絡版、有聲版等方面特殊說明，即視作投稿者同意授權本刊電子版、網絡版、有聲版等的復制權、匯編權、發行權、翻譯權、信息網絡傳播權及其轉授權等專著權。
{4}中文題名一般不超過20個漢字，一般不使用副題名，中英文題名含義一致。
{5}投稿請填寫真實有效的詳細地址、郵政編碼、聯系電話及E-mail，以便聯系。
注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社
