研究生: |
王愷薇 Wang, Kai-Wei |
---|---|
論文名稱: |
以BNN與AlexNet為基礎適用於CIFAR10圖形辨識之積體電路架構設計 A BNN and AlexNet Based VLSI Architecture for CIFAR10 Pattern Recognition Dataset |
指導教授: |
黃文吉
Hwang, Wen-Jyi |
學位類別: |
碩士 Master |
系所名稱: |
資訊工程學系 Department of Computer Science and Information Engineering |
論文出版年: | 2017 |
畢業學年度: | 106 |
語文別: | 中文 |
論文頁數: | 59 |
中文關鍵詞: | 機器學習 、深度學習 、類神經網路 、摺積類神經網路 、二元化類神經網路 、系統晶片設計 |
英文關鍵詞: | BNN, AlexNet, CIFAR10, AI on Chip |
DOI URL: | http://doi.org/10.6345/THE.NTNU.DCSIE.001.2018.B02 |
論文種類: | 學術論文 |
相關次數: | 點閱:272 下載:52 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
本論文以FPGA實作AlexNet摺積類神經網路模型之硬體電路架構,並以CIFAR10全彩圖像資料庫作為圖像辨識數據,設計適用於該資料庫的圖形辨識電路架構,傳統的摺積類神經網路以浮點數形式存取運算所用到的相關參數,同時運算方式較為複雜,這種模式不僅會增加記憶體的存取資源消耗,也會造成運算的負擔。本論文將二元化類神經網路技術結合至電路設計中,其最主要的核心概念是將權重及運算結果透過二元化相關演算法簡化為二進制表示法,並使用XNOR做位元運算,此作法不僅能降低FPGA資源消耗,同時也能提升運算效率。
本論文選用AlexNet作為設計電路之模型,AlexNet對於全彩圖像的辨識結果優於LeNet5,而AlexNet相較於其他結構複雜的摺積類神經網路模型更適合實作於硬體電路,雖然AlexNet所使用的參數較多,以原始32bit 浮點數存取權重確實在硬體上難以實現,但利用二元化類神經網路便可將權重簡化至1bit二進位碼,而運算子則不需要使用到浮點數的加法器與乘法器,這不單是降低內建記憶體及暫存器資源使用,更提升存取記憶體的效能。
依據實驗結果,本論文所提出之硬體架構相較於近期相關研究有低面積資源消耗之優點,且辨識精確度不亞於其他研究架構,對於現今人工智慧晶片發展領域,本論文所提出之硬體架構著實具有競爭價值。
[1] The CIFAR-10 dataset, Available online: https://www.cs.toronto.edu/~kriz/cifar.html
[2] M. Courbariaux, I. Hubara, D.l Soudry, R. El-Yaniv, Y. Bengio,Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, arXiv:1602.02830, 2016.
[3] A. Krizhevsky, I. Sutskever, G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, In Proc. NIPS, pp. 1097-1105, 2012.
[4] S. Ioffe, C.Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, Advances in International Conference on Machine Learning, 2015.
[5] 王雅慶,以FPGA實現摺積神經網路及應用於人臉特徵辨識之研究,國立台灣師範大學碩士論文, 2016.
[6] 紀凱文,摺積神經網路全連結層FPGA實現之研究,國立台灣師範大學碩士論文, 2016.
[7] 黃暐傑,以FPGA實現二元化類神經網路及應用於手寫圖片辨識之研究,國立台灣師範大學碩士論文, 2017.
[8] kuangliu, Train CIFAR10 with PyTorch, Available online: https://github.com/kuangliu/pytorch-cifar
[9] Y. Umuroglu, N. J. Fraser, G. Gambardella, M. Blott, P. Leong, M. Jahre, K. Vissers, FINN: A Framework for Fast, Scalable Binarized Neural Network Inference, arXiv:1612.07119, 2016.
[10] R. Zhao, W. Song, W. Zhang, T. Xing, J. Lin, M. Srivastava, R. Gupta, and Z. Zhang, Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs, Proceedings of the 2017 ACM/SIGDA International Symposium on Field-Programmable Gate Arrays, pp. 15-24, 2017.
[11] Y. Zhou; S. Redkar; X. Huang, Deep Learning Binary Neural Network on an FPGA, 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS), pp. 281 - 284, 2017.
[12] J.H. Lin, T.Xing, R. Zhao, Z. Zhang, M. Srivastava, Z. Tu, R. K. Gupta, Binarized Convolutional Neural Networks with Separable Filters for Efficient Hardware Acceleration, 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 344 - 352, 2017.