監(jiān)控運維問題排查思路方案發(fā)展前景

發(fā)布時間：2020-01-09 22:18:31   作者：上海監(jiān)控安裝公司

監(jiān)控運維問題排查思路方案發(fā)展前景

1、常見的方法：

1）確定故障現象并初判問題影響

在處理故障前，運維人員首先要知道故障現象，故障現象直接決定故障應急方案的制定，這依賴于運維人員需要對應用系統的整體功能有一定的熟悉程度。確認了故障現象后，才能指導運維人員初判斷故障影響。

2）應急恢復

運維最基本的指標就是系統可用性，應急恢復的時效性是系統可用性的關鍵指標。

有了上述故障現象與影響的判斷后，就可以制定故障應急操作，故障應急有很多，比如：

服務整體性能下降或異常，可以考慮重啟服務；

應用做過變更，可以考慮是否需要回切變更；

資源不足，可以考慮應急擴容；

應用性能問題，可以考慮調整應用參數、日志參數；

數據庫繁忙，可以考慮通過數據庫快照分析，優(yōu)化SQL；

應用功能設計有誤，可以考慮緊急關閉功能菜單；

還有很多……

另外，需要補充的是，在故障應急前，在有條件的情況需要保存當前系統場景，比如在結算進程前，可以先抓個CORE文件或數據庫快照文件。

3）快速定位故障原因

是否為偶發(fā)性、是否可重現

故障現象是否可以重現，對于快速解決問題很重要，能重現說明總會有辦法或工具幫助我們定位到問題原因，而且能重現的故障往往可能是服務異常、變更等工作導致的問題。如果故障是偶發(fā)性的，是有極小概率出現的，則比較難排查，這依賴于系統是否有足夠的故障期間的現場信息來決定是否可以定位到總是原因。

是否進行過相關變更

大部份故障是由于變更導致，確定故障現象后，如果有應的變更，有助于從變更角度出現分析是否是變更引起，進而快速定位故障并準備好回切等應急方案。

是否可縮小范圍

一方面應用系統提倡解耦，一支交易會流經不同的應用系統及模塊；另一方面，故障可能由于應用、系統軟件、硬件、網絡等環(huán)節(jié)的問題。在排查故障原因時應該避免全面性的排查，建議先把問題范圍縮小到一定程序后再開始協調關聯團隊排查。

關聯方配合分析問題

與第（3）點避免同時各關聯團隊同時無頭緒的排查的同時，對于牽頭方在縮小范圍后需要開放的態(tài)度去請求關聯方配合定位，而對于關聯方則需要有積極配合的工作態(tài)度。

是否有足夠的日志

定位故障原因，最常用的方法就是分析應用日志，對運維人員不僅需要知道業(yè)務功能對應哪個服務進程，還要知道這個服務進程對應的哪些應用日志，并具備一些簡單的應用日志異常錯誤的判斷能力。

是否有core或dump等文件

故障期間的系統現場很重要，這個在故障應急前建議在有條件的情況下留下系統現場的文件，比如CORE\DUMP，或TRACE采集信息等，備份好一些可能被覆蓋的日志等。

上述是一般性的故障常見的方法，在重大故障或多方處理的故障出現時，往往小范圍的排查不利于快速解決，需要啟動緊急處理的流程，建議可以考慮以下溝通：

召集相關人員

描述故障現狀

說明正常應用邏輯流程

陳述變更

排查進展，展示信息

領導決策

2. 完善監(jiān)控

1）從監(jiān)控可視化上完善

完善的監(jiān)控策略需要有統一的可視化操作界面，在制定完善的監(jiān)控策略后，故障處理人員需要能夠快速的看到相應的運行數據，比如：能夠看到一段時間的趨勢、故障期間的數據表現、性能分析的情況等等數據，且這些數據可以提前制定好策略直接推出分析結果給故障處理人員，這樣就大大提高了故障的處理效率。

2）從監(jiān)控面上完善

監(jiān)控最基本的工作就是實現對負載均衡設備、網絡設備、服務器、存儲設備、安全設備、數據庫、中間件及應用軟件等IT資源的全面監(jiān)控管理。在應用軟件類的監(jiān)控工作中，不僅需要有服務進程、端口等監(jiān)控，還需要有業(yè)務、應用層的監(jiān)控。全面性的應用監(jiān)控可以讓故障提前預警，并保存了影響應用運行環(huán)境的數據，以縮短故障處理時間。

3）從監(jiān)控告警上完善

完善的監(jiān)控策略需要有清晰的監(jiān)控告警提示，值班人員要以根據監(jiān)控告警即可作出簡單的問題定位與應急處理方案。

4)從監(jiān)控分析上完善

完善的監(jiān)控策略不僅需要有實時的數據告警，也要有匯總數據的分析告警,實時數據分析的告警的重要性不用多說，對于匯總分析的數據則能發(fā)現潛在風險，同時也為分析疑難雜癥提供幫忙。

5)從監(jiān)控主動性上完善

監(jiān)控不僅僅是報警，它還可以做得更多，只要我們想辦法賦予它主動解決事件的規(guī)則，它便有為管理員處理故障的能力。

3、應急方案

提前制定好故障應急方案是很有必要的，但在日常工作過程中我們的應急方案遇到一些問題：

1）應急方案缺乏持續(xù)維護，缺乏演練，信息不及時、不準確；

2）應急方案過于追求大而全，導致不利于閱讀與使用；

3）應急方案形式大于實際使用效果，方案針對性不強；

4）只關注應急方案的內容，但沒有關注運維人員對方案的理解；

針對上述常見問題，應急方案需要做到以下幾點：

1）內容精簡

很多人可能會認為故障出現的形式各種各樣，所以應急方案需要涉及到方方面面。但實際的故障處理過程中，我們可以發(fā)現其實我們的應急措施往往重復使用幾個常用的步驟，所以應急方案要有重點，如果一個應急方案可以應對平時故障處理80%的場景，那這個應急手冊應該是合格的。過于追求影響應用系統方方面面的內容，會導致這個方案可讀性變差，最終變更一個應付檢查的文檔。

以下是應用系統應急方案應該有的內容：

（1）系統級：

能知道當前應用系統在整個交易中的角色，當前系統出現問題或上下游出現問題時，可以知道如何配合上下游分析問題，比如：上下游系統如何通訊，通訊是否有唯一的關鍵字等。另外，系統級里還涉及一些基本應急操作，比如擴容、系統及網絡參數調整等。

（2）服務級：

能知道這個服務影響什么業(yè)務，服務涉及的日志、程序、配置文件在哪里，如何檢查服務是否正常，如何重啟服務，如何調整應用級參數等。

（3）應用級：

能知道如何查到某應用出現了問題，是大面積、局部，還是偶發(fā)性問題，能用數據說明應用影響的情況，能定位到應用報錯的信息。這里最常用的方法就是數據庫查詢或工具的使用。知道最重要的交易如何檢查是否正常，重要的定時任務的應急處理方案，業(yè)務的時間要求及應急措施。

（4）輔助工具的使用：

有時候，需要借助一些工具或自動化工具輔助分析并應急，這時需要有輔助工具如何使用的方法。

（5）溝通方案：

溝通方案涉及通訊錄，包括上下游系統、第三方單位、業(yè)務部門等渠道。

（6）其它：

上述5點內容如何都完備，相信這個應急手冊己可以解決80%的故障恢復工作。

2）應急方案是一項持續(xù)的工作

有了應急方案，如何讓運維人員持續(xù)去更新是難點。要解決這個難點，需要先讓運維人員經常使用這個手冊。如果一個手冊沒有場景可以用，那就需要管理者為運維人員創(chuàng)造機會去使用這個手冊，比如應急演練。應急方案最終可以歸檔到知識庫。

3）關注運維人員對應用關鍵信息的認識

前兩點關注了手冊，最后一點有必要關注使用這個手冊的人。有些運維人員認為應用運維人員沒有能力去把應用系統本身的內容了解得很透徹，所以應用運維人員在故障處理過程中的地位很尷尬，運維人員掌握操作權，但卻不知道應該操作什么。

對此，應用運維人員不需要掌握應用系統的業(yè)務功能，但就對應用系統本身來講應用運維人員需要具備以下最基本的能力：

（1）知道應用系統這個是干什么的，基本的業(yè)務是什么；

（2）知道應用架構部署、上下游系統邏輯關系；

（3）知道應用下的服務的作用、端口、服務級的應急處理，日志等數據信息如何找到并簡單定位。

（4）知道應用系統重要的時間點及任務，比如定時任務的時間點以及如何判斷這些任務是否正確

（5）知道最重要的業(yè)務流程；

（6）知道常見數據庫表結構，并能使用。

上一篇   返回首頁  打印  返回上頁  下一篇