研究生: |
黃暐傑 Huang, Wei-Chieh |
---|---|
論文名稱: |
以FPGA實現二元化類神經網路及應用於手寫圖片辨識之研究 The implementation of BNN-based handwritten digit recognition systems based on FPGA |
指導教授: |
黃文吉
Hwang, Wen-Jyi 蔡榮宗 Tsai, Jung-Tsung |
學位類別: |
碩士 Master |
系所名稱: |
資訊工程學系 Department of Computer Science and Information Engineering |
論文出版年: | 2017 |
畢業學年度: | 105 |
語文別: | 中文 |
論文頁數: | 68 |
中文關鍵詞: | 類神經網路 、摺積神經網路 、二元化神經網路 |
DOI URL: | https://doi.org/10.6345/NTNU202202944 |
論文種類: | 學術論文 |
相關次數: | 點閱:153 下載:12 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
本論文是實作摺積類神經網路,並應用於手寫辨識。傳統摺積類神經網路的權重都是以實數表示,運算方式複雜。不論是在記憶體的使用或是運算子的資源消耗上分別會增加儲存與運算的負擔,此舉造成在FPGA上實作的困難。為了解決資源消耗的問題,本論文使用二元化類神經網路。最主要的核心概念是把權重簡化為二進制表示法,以及將運算子使用XNOR位元運算,最大的好處就是可以降低FPGA資源消耗。
本論文以LeNet5模型為例,此模型中的C1、C3、C5、F6的權重佔用了FPGA許多的資源。二元化類神經網路使用Sign function把原本32bit 浮點數權重簡化為1bit二進位碼。由於所有的運算元都是以二進位碼表示,運算子即可使用XNOR位元運算,不需使用浮點數的加法器與乘法器。經由二元化類神經網路的法則至少可以減少百分之八十的資源消耗,不只減少了內建記憶體使用,也減少數學運算子與暫存器使用。
在未來的應用中,不只可以放置在FPGA中,還可以放置在行動裝置或是穿戴式裝置中,來進行圖片辨識與語音辨識,對於科技的發展又前進了一大步。
[1] M. Courbariaux, I. Hubara, D. Soudry, R. El-Yaniv, Y. Bengio,(2016) Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, arXiv:1602.02830
[2] Y. LeCun, Y. Bengio and G. Hinton, (2015). Deep Learning, Nature.
[3] Y. LeCun and Y. Bengio, (1995) Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, Pages 255-258
[4] S. Sun and J. Zambreno (2009). A Floating-point Accumulator for FPGA-based High Performance Computing Applications. In Proc. IEEE Int. Conf. on FieldProgrammable Tech.
[5] A. Krizhevsky, I. Sutskever, and G. E. Hinton, (2012) Imagenet Classification with Deep Convolutional Neural Networks. Advances in Neural Inform. Processing Syst.
[6] 王雅慶,(2016)以FPGA實現摺積神經網路及應用於人臉特徵辨識之研究,國立台灣師範大學碩士論文.
[7] 紀凱文,(2016)摺積神經網路全連結層FPGA實現之研究,國立台灣師範大學碩士論文.
[8] M. Courbariaux, Y. Bengio, JP. David (2015) Binaryconnect: Training deep neural networks with binary weights during propagations. Advances in Neural Information
Processing Systems.