<tbody id="gweku"><s id="gweku"></s></tbody>
<kbd id="gweku"></kbd>
  • <dl id="gweku"></dl>
  • <center id="gweku"><code id="gweku"></code></center>
  • <center id="gweku"><delect id="gweku"></delect></center><center id="gweku"></center>
    <dl id="gweku"><small id="gweku"></small></dl>
  • 展開
    湖北國聯(lián)計(jì)算機(jī)科技有限公司
  • 首頁HOME
  • 公司簡介INTRODUCTION
  • 安全防御DEFENSE
  • 軟件開發(fā)SOFTWARE
  • 物聯(lián)網(wǎng)IOT
  • 運(yùn)行維護(hù)SRE
  • 成功案例CASE
  • 聯(lián)系我們CONTACT
  • Technology Services |技術(shù)服務(wù)

    如何利用大數(shù)據(jù)思維實(shí)現(xiàn)無死角運(yùn)維監(jiān)控?
    來源:湖北國菱計(jì)算機(jī)科技有限公司-荊州網(wǎng)站建設(shè)-荊州軟件開發(fā)-政府網(wǎng)站建設(shè)公司 時間:2018-01-17

    羅列出數(shù)據(jù)源

    主要有工程數(shù)據(jù),業(yè)務(wù)數(shù)據(jù)。所有的數(shù)據(jù)源都有一個共性,就是日志。無論文本的也好,二進(jìn)制的也好。所以日志是整個信息的源頭。日志包含的信息足以讓我們追查到下面幾件事情:



    日志挖掘指標(biāo)


    指標(biāo)可以再進(jìn)行分類:

    1. 業(yè)務(wù)層面:如團(tuán)購業(yè)務(wù)每秒訪問數(shù),團(tuán)購券每秒驗(yàn)券數(shù),每分鐘支付、創(chuàng)建訂單等;

    2. 應(yīng)用層面:每個應(yīng)用的錯誤數(shù),調(diào)用過程,訪問的平均耗時,最大耗時,95線等;

    3. 系統(tǒng)資源層面:如cpu、內(nèi)存、swap、磁盤、load、主進(jìn)程存活等;

    4. 網(wǎng)絡(luò)層面: 如丟包、ping存活、流量、tcp連接數(shù)等。


    如何統(tǒng)一實(shí)現(xiàn)


    Storm(或第一幅圖的SparkStreaming)做兩件事情:

    1. 將日志過濾,格式化,或存儲起來;

    2. 進(jìn)行實(shí)時計(jì)算,將指標(biāo)數(shù)據(jù)存儲到HBase里去。


    需要開發(fā)的地方只有兩個點(diǎn),有一個是一次性的,有一個則是長期。

    先說說一次性的,其實(shí)就是大盤展示系統(tǒng)。這個就是從HBase里取出數(shù)據(jù)做展示。這個貌似也有開源的一套,ELK。不過底層不是用的HBase存儲,而是ES。

    長期的則是SparkStreaming(淘寶是使用Storm,我建議用SparkStreaming,因?yàn)镾parkStreaming可以按時間窗口,也可以按量統(tǒng)一做計(jì)算),這里你需要定義日志的處理邏輯,生成上面提到的各項(xiàng)指標(biāo)。

    這里有一個什么好處呢,就是平臺化了,對新的監(jiān)控需求響應(yīng)更快了,開發(fā)到上線可能只要幾個小時的功夫。如果某個系統(tǒng)某天需要一個新的監(jiān)控指標(biāo),我們只要開發(fā)個SparkStreaming程序,丟到平臺里去,這事就算完了。


    現(xiàn)在,如果你想要監(jiān)控一個系統(tǒng)是不是存活,你不在需要去寫腳本找他的pid看進(jìn)程是不是存在,系統(tǒng)發(fā)現(xiàn)在一定的周期內(nèi)沒有日志,就可以認(rèn)為它死了。而系統(tǒng)如果有異常,比如有大量的慢查詢,大盤一定能展示出來。


    大數(shù)據(jù)思維

    對于運(yùn)維的監(jiān)控,利用大數(shù)據(jù)思維,需要分三步走:

    1. 找到數(shù)據(jù);

    2. 分析定義從數(shù)據(jù)里中我能得到什么;

    3. 從大數(shù)據(jù)平臺中挑選你要的組件完成搭積木式開發(fā)。

    所有系統(tǒng)最可靠的就是日志輸出,系統(tǒng)是不是正常,發(fā)生了什么情況,我們以前是出了問題去查日志,或者自己寫個腳本定時去分析。現(xiàn)在這些事情都可以整合到一個已有的平臺上,我們唯一要做的就是定義處理日志的的邏輯。


    荊州地區(qū)政府網(wǎng)站建設(shè) 解決方案 專業(yè)團(tuán)隊(duì) 騰訊第三方平臺 地址:湖北省荊州市沙市區(qū)荊沙大道楚天都市佳園一期C區(qū)29棟112       地址:湖北省松滋市新江口街道才知文化廣場1幢1146-1151室     郵編:434200 聯(lián)系電話:0716-6666211     網(wǎng)站編輯部郵箱:business@gl-ns.com 鄂公網(wǎng)安備 42100202000212號 備案號:鄂ICP備2021015094號-1     企業(yè)名稱:湖北國菱計(jì)算機(jī)科技有限公司
    亚洲欧洲国码AV天堂偷窥,亚洲国产精品人久久,国产综合19久久久久久,黄片免费看在线视频 国产乱精品女同自线免费 青青国产精品视频
    <tbody id="gweku"><s id="gweku"></s></tbody>
    <kbd id="gweku"></kbd>
  • <dl id="gweku"></dl>
  • <center id="gweku"><code id="gweku"></code></center>
  • <center id="gweku"><delect id="gweku"></delect></center><center id="gweku"></center>
    <dl id="gweku"><small id="gweku"></small></dl>