深度神經網絡模型壓縮綜述
李江昀; 趙義凱; 薛卓爾; 蔡錚; 李擎 北京科技大學自動化學院; 北京100083; 工業過程知識自動化教育部重點實驗室; 北京100083
關鍵詞：深度神經網絡 模型壓縮 深度學習 網絡剪枝 網絡蒸餾
摘要：深度神經網絡近年在計算機視覺以及自然語言處理等任務上不斷刷新已有最好性能,已經成為最受關注的研究方向.深度網絡模型雖然性能顯著,但由于參數量巨大、存儲成本與計算成本過高,仍然難以部署到硬件受限的嵌入式或移動設備上.相關研究發現,基于卷積神經網絡的深度模型本身存在參數冗余,模型中存在對最終結果無用的參數,這為深度網絡模型壓縮提供了理論支持.因此,如何在保證模型精度條件下降低模型大小已經成為熱點問題.本文對國內外學者近幾年在模型壓縮方面所取得的成果與進展進行了分類歸納并對其優缺點進行評價,并探討了模型壓縮目前存在的問題以及未來的發展方向.
工程科學學報雜志要求:
{1}投稿須基金項目論文，請給出項目的編號或批準文號，本刊將優先采用。
{2}凡向本刊投稿，稿件錄用后即視為授權本刊，并包括本刊關聯的出版物、網站及其他合作出版物和網站。
{3}本刊歡迎有觀點、有論證、有研究深度的文稿。
{4}文章題目力求簡明、醒目，中文文題一般以20個漢字以內為宜，可帶副題。
{5}來稿應附3～8個關鍵詞。附200字左右的結構式摘要（理論研究不要寫成結構式摘要），內容包括目的、方法、結果、結論。
注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社
