基于JAVA語言實現(xiàn)跨平臺通用的機器學習框架與應用研究

摘要

自2011人工智能的再次興起讓機器學習（Machine Learning）這個名詞進入了公眾的視野，它成為當前解決很多人工智能問題的核心基石。機器學習在通i機器視覺用目標檢測和分割；自然語言處理，語音識別；策略控制類問題得到了很好的應用。然而大多數(shù)的機器學習框架是非java編寫的。所以編寫了基于JAVA語言的基礎庫。Java是一門面向?qū)ο缶幊陶Z言，作為靜態(tài)面向?qū)ο缶幊陶Z言的代表，極好地實現(xiàn)了面向?qū)ο罄碚摚�允許程序員以優(yōu)雅的思維方式進行復雜的編程；具有簡單性、面向?qū)ο蟆⒎植际健⒔�壯性、安全性、平臺獨立與可移植性、多線程、動態(tài)性等特點，基于JAVA語言實現(xiàn)跨平臺通用的機器學習框架，為更多的系統(tǒng)提供機器學習的可能性。

關鍵詞　機器學習；深度神經(jīng)網(wǎng)絡；自動求導；機器視覺；JAVA。

目錄

摘要I

目錄I

第1章 系統(tǒng)設計3

1.1 需求分析3

1.2 系統(tǒng)功能描述3

1.3 功能模塊劃分3

1.4 系統(tǒng)流程分析4

第2章 計算圖的實現(xiàn)5

2.1 計算圖簡介5

2.2 計算圖的定義5

2.3 代碼實現(xiàn)8

2.3.1 Tensor類核心實現(xiàn)如下：8

2.3.2 Node類實現(xiàn)如下：9

2.3.3 Engine類正向計算的核心實現(xiàn)如下：10

第3章 自動求導實現(xiàn)12

3.1 自動求導12

3.2 代碼實現(xiàn)15

3.2.1 Tensor類基礎的乘法運算求導實例代碼如下：15

3.2.2 None 梯度相關的核心實現(xiàn)：15

3.2.3 Engine類反向計算自動梯度的核心實現(xiàn)如下：16

第4章 部分常用運算的實現(xiàn)20

4.1 矩陣運算20

4.1.1 數(shù)學公式20

4.1.2 矩陣乘法計算求導20

4.1.3 核心代碼實現(xiàn)20

4.2 卷積運算21

4.2.1 數(shù)學公式21

4.2.2 核心代碼實現(xiàn)21

4.3 sigmoid激活函數(shù)22

4.3.1 數(shù)學公式22

4.3.2 Sigmoid 導數(shù)23

4.3.3 Sigmoid 函數(shù)的三個主要缺陷：23

4.3.4 核心代碼實現(xiàn)23

4.4 Relu激活函數(shù)24

4.5 優(yōu)化函數(shù)25

4.5.1 均方差損失函數(shù)25

4.5.2 交叉熵損失函數(shù)25

第5章 基礎算法實現(xiàn)27

5.1 神經(jīng)網(wǎng)絡27

5.1.1 全連接神經(jīng)網(wǎng)絡結(jié)構(gòu)圖27

5.1.2 核心代碼實現(xiàn)27

5.2 手寫識別體28

5.2.1 LeNet簡介28

5.2.2 LeNet網(wǎng)絡結(jié)構(gòu)28

5.2.3 實現(xiàn)過程29

5.2.4 代碼實現(xiàn)的難點29

5.2.5 核心代碼實現(xiàn)30

5.2.6 運行結(jié)果圖31

參考文獻32