自動(dòng)化運(yùn)維系統(tǒng)的設(shè)計(jì)與開

摘要

信息技術(shù)飛速發(fā)展的今天，計(jì)算機(jī)系統(tǒng)都是建立在網(wǎng)絡(luò)之上的、隨著系統(tǒng)建設(shè)的不斷深入發(fā)展，信息系統(tǒng)越來越復(fù)雜，信息系統(tǒng)軟硬件的運(yùn)行維護(hù)已成為了各企業(yè)和IT部門普遍關(guān)注和不堪重負(fù)的問題，如對眾多系統(tǒng)的更新擴(kuò)容、系統(tǒng)監(jiān)控、系統(tǒng)的異常處置等。因此我們不得不面對一個(gè)現(xiàn)實(shí)——分布式的主機(jī)或系統(tǒng)是難于設(shè)計(jì)、構(gòu)建與管理的。首先，分布式系統(tǒng)在操作系統(tǒng)、架構(gòu)和開發(fā)語言上的異構(gòu)性增加了應(yīng)用程序發(fā)布、部署與移植的難度；其次，分布式系統(tǒng)涉及主機(jī)較多，業(yè)務(wù)增加和發(fā)展時(shí)，基本上是橫向擴(kuò)展主機(jī)來提高計(jì)算的能力和可靠性，這樣久而久之分布式的網(wǎng)絡(luò)節(jié)點(diǎn)的越來越多，需要大量的手動(dòng)配置、手動(dòng)的軟件更新發(fā)布；而且分布式系統(tǒng)的異常多表現(xiàn)為間歇性錯(cuò)誤或功能下降，其內(nèi)部高度的透明性使得故障的排除需要大量的日志分析。

本文以基于分布式集群物理主機(jī)為研究對象，采用“DJANGO+PYTHON”的軟件開發(fā)思想設(shè)計(jì)了一套完整的自動(dòng)化運(yùn)維方案，覆蓋從開發(fā)測試到部署運(yùn)維的整個(gè)軟件生命周期。1.利用slatmaster與slatmin通信機(jī)制以及slat 提供的api接口解決應(yīng)用程序并發(fā)發(fā)布、部署的靈活性；2 利用軟件git代碼管理以及jenkins的設(shè)計(jì)軟件完成持續(xù)集成與持續(xù)交付的流程架構(gòu)，使得開發(fā)、測試與運(yùn)維可以更緊密、高效的合作，使得代碼管理、集成轉(zhuǎn)變?yōu)檫\(yùn)行服務(wù)的流程自動(dòng)化；3隨著系統(tǒng)的擴(kuò)展，帶來眾多的應(yīng)用組件，大量不同種類的日志成為了運(yùn)維人員的負(fù)擔(dān)，不方便管理;單個(gè)日志文件巨大，無法使用常用的文本工具分析，檢索困難;日志分布在多臺不同的服務(wù)器上，業(yè)務(wù)一旦出現(xiàn)故障，需要一臺臺查看日志。因此利用flume+kafka+ELK實(shí)現(xiàn)集中化管理日志后，日志的統(tǒng)計(jì)和檢索、展示；4利用java設(shè)計(jì)實(shí)現(xiàn)了一套故障排查處理機(jī)制，即通過調(diào)用ES的API接口實(shí)現(xiàn)分布式系統(tǒng)節(jié)點(diǎn)的運(yùn)行狀態(tài)做匯報(bào)，這樣能對分布節(jié)點(diǎn)做故障預(yù)警，對故障主機(jī)提供遠(yuǎn)程控制和管理.以上幾點(diǎn)的實(shí)現(xiàn)在一定程度上降低了分布式集群的管理維護(hù)成本，推進(jìn)了分布式集群的自動(dòng)化。

關(guān)鍵字：SaltStack、rsync、分布式系統(tǒng)主機(jī)、持續(xù)集成Jenkins,日志集中收集flume+kafka+ELK，自動(dòng)化運(yùn)維。

目錄

摘要3

第一章引言5

1.1研究背景6

1.2研究現(xiàn)狀&方向7

1.3研究內(nèi)容7

1.4研究意義8

1.5論文結(jié)構(gòu)9

第二章相關(guān)技術(shù)介紹10

2.1SaltStack 概述10

2.2JENKins介紹11

第三章自動(dòng)化運(yùn)維系統(tǒng)需求13

3.1IT運(yùn)維模式分析13

3.2IT運(yùn)維面臨的問題13

3.3系統(tǒng)涉眾的結(jié)構(gòu)分析13

3.4系統(tǒng)需求15

3.4.1持續(xù)集成交付管理15

3.4.2批量部署管理16

3.4.3遠(yuǎn)程維護(hù)管理16

3.4.4故障管理17

3.4.5對性能的一般性要求17

3.5運(yùn)行環(huán)境&開發(fā)環(huán)境18

第四章自動(dòng)化運(yùn)維系統(tǒng)設(shè)計(jì)與開發(fā)18

第五章關(guān)鍵支持組件的安裝說31

第六章總結(jié)與展望37

6.1前景與展望37

參考文獻(xiàn)38

致謝38