日誌管理與分析（簡體書）

本書結合日志易團隊的多年經驗，依照主流的日志管理系統設計理念，對日志分析的原理與實現步驟進行了系統性講解。第1~3章分別介紹了日志分析的基本概念、日志管理相關的法律法規及規範要求、日志管理與分析系統的組成部分及技術選型建議。第4~9章分別針對日志采集、字段解析、日志存儲、日志分析、日志告警、日志可視化等日志分析中*重要的實現步驟進行了具體闡述。第10~13章介紹了日志平臺兼容性與擴展性、智能運維與SIEM相關的內容。

日志易學院由北京優特捷信息技術有限公司創辦，成員主要是優特捷公司技術骨幹，專家團成員包括日志易創始人陳軍、技術負責人黎吾平、產品負責人&運維專家饒琛琳等。日志易學院致力於研究、推廣機器數據分析技術、實踐智能運維理論與大數據安全分析場景。日志易學院名稱來源於優特捷公司的核心產品“日志易平臺”，該平臺為日志管理與分析需求提供了完整的解決方案，技術國內領先，核心引擎自主可控，已成為數百家企業提升智能運維和安全運營能力的基礎支撐平臺。

序 言

每位IT工程師，無論是從事開發、運維還是安全工作，都不可避免地要與IT日志打交道。IT日志，無論是系統日志、網絡日志、還是應用日志，都是IT系統重要的數據之一。
我20多年前進入IT行業，在思科從事網絡設備的軟件開發，為了知道開發的軟件是否正常運行，以及出錯時及時定位問題，需要查看網絡設備的日志。早我是用編輯器如vi手工查看日志的，靠肉眼搜尋日志裡的信息或異常。為了提升效率，我也用grep等命令，或者寫shell腳本程序，以及使用awk、sed等高級工具，對日志進行半自動化處理。
後來，我加入谷歌從事網頁搜索工作。十多年前谷歌每天都要爬取100多億個網頁，在爬取各個網頁時，可能遇到各種各樣的錯誤，網頁爬蟲軟件每天產生的日志就達數百TB。那麼大的日志文件，已經無法用vi這樣的編輯器打開查看，使用shell腳本程序或awk、sed等工具來查看日志，效率也非常低。當時谷歌內部已經普遍開始使用MapReduce編程架構（類似Hadoop的軟件），我們就寫MapReduce程序來分析日志，每天生成分析報表。每當遇到需要新的分析項時，又得添加MapReduce程序，還得運行MapReduce程序幾十分鐘甚至幾個小時，才能生成分析結果。這是程序化處理海量日志的開始。
再後來我加入騰訊和高德地圖，都需要處理數據中心或後臺系統產生的大量日志，面對每天產生的海量日志，shell命令或腳本程序，以及awk、sed等工具，已經滿足不了需求。我嘗試過自己開發軟件處理日志，以及使用Hadoop處理日志。當時，業界也有使用數據庫存儲、分析日志的解決方案，但日志是非結構化數據，數據庫這種處理結構化數據的系統完全不適合處理日志。
大約10年前，IT進入大數據時代。運用大數據技術分析海量日志，屬於IT運維分析（IT Operation Analytics，ITOA）這個新領域。在ITOA產生之前，IT運維主要還是IT運維管理（IT Operation Management，ITOM）。ITOA是ITOM的升級，是用大數據技術分析IT運維產生的海量數據的方法。數據源除了日志，還可能是網絡流量，以及應用性能管理（Application Performance Management，APM）的探針數據。
Hadoop是廣泛使用的大數據分析框架，後來又出現了更實時的Spark、Flink等框架。使用Hadoop/Spark/Flink等框架分析日志需要研發投入，每次有新的分析需求或新的日志，都需要投入研發資源。也有使用各種NoSQL來存儲、分析日志的，如Clickhouse，MongoDB等，但這些基於Key-Value的NoSQL系統，適合預先抽取了日志裡需要分析的字段，或者程序已經做了改造，使用JSON等格式，輸出的日志已經基本結構化。
對於大多數難以改造的應用系統，輸出的日志是自由文本格式，實時搜索引擎是好的解決方案。使用搜索引擎分析日志，可以搜索日志裡的任何字段，如同網頁搜索引擎可以搜索任何網頁一樣方便。對於需要分析的日志字段，可以在日志進入搜索引擎前抽取字段（Schema on Write）或在搜索分析日志時才抽取字段（Schema on Read，Schema on Fly，Schemaless）。與網頁搜索引擎相比，日志搜索分析引擎更注重實時性，要求日志從產生到搜索分析出結果，只有幾十秒的延時，而對於網頁搜索的核心功能搜索相關性、搜索排序等，則基本用不上。
2003年Splunk在美國硅谷橫空出世，這是個使用實時搜索引擎分析日志的產品。2010年Elasticsearch誕生，雖然Elasticsearch是個通用搜索引擎，但因為其開源免費，也被業界廣泛應用於日志搜索分析。2014年日志易在中國誕生，中國用戶有了更多的選擇。
日志分析主要用於業務運維的可用性分析及應用性能分析，也可用於安全分析，以及實時業務分析。隨著信息安全的發展，基於大數據的安全分析已經成為行業趨勢。各種安全攻擊層出不窮，需要基於全量日志和網絡流量，對IT系統進行全面監測、分析，及時發現安全攻擊。由此，誕生了基於日志的安全信息事件管理（Security Information Event Management，SIEM）及用戶端點行為分析（User ＆ Entity Behavior Analytics，UEBA）解決方案，SIEM與UEBA已經成為安全運營中心（Security Operation Center，SOC）不可或缺的核心組件。
基於日志做實時業務分析，相較於基於數據庫的商業智能（Business Intelligence，BI），更加實時，而且不會對主要用於支撐交易的數據庫造成壓力，影響業務交易，這也是現在普遍應用的在線分析處理（On-Line Analytics Processing，OLAP）技術。
物聯網（Internet of Things，IoT）的興起，產生了海量物聯網數據需要分析，這些物聯網數據與日志類似，都是帶時間戳的時間序列機器數據，同樣可以用日志搜索分析引擎進行分析。
?
近年來，日志分析又有了進一步發展。人工智能的普及，也應用到日志分析上，誕生了智能運維（AI for IT Operations，AIOps）技術，把機器學習、人工智能算法應用到分析日志等IT運維產生的數據上。同時，結合IT系統指標數據（Metrics），系統調用鏈數據（Tracing），及日志（Log），共同分析，實現IT系統可觀察性（Observability）。
現在，蘋果手機、微信等廣泛使用的系統每天在後臺產生的新增日志量已經達到PB級。IT日志數據這座金礦亟待開發，日志分析大有可為。
越來越多的公司在采集、管理、分析日志，為了幫助IT運維、安全及研發人員及管理人員更好地理解日志、實現日志的價值，日志易團隊結合過去多年在日志管理分析領域積累的經驗，凝聚集體智能，耗時近兩年，寫成了《日志管理與分析》一書。這本書涵蓋了日志管理、分析的各個方面，全面介紹了日志分析在運維和安全方面應用，以及智能運維。
IT運維工程師通過本書，可以了解日志系統的選型，如何分析日志，實現系統可用性監控及應用性能監控、故障發現與根因分析，以及智能運維。安全工程師通過本書，可以了解如何基於大數據進行安全分析，以及SIEM和UEBA。研發工程師通過本書，可以了解開發日志管理分析系統的關鍵點。IT架構師和管理人員通過本書，可以了解日志分析系統在企業IT管理中的作用及如何建設高效的日志管理分析系統。
本書由多位作者合作完成，具體分工如下：
? 第1章：張夢夢
? 第2、7章：王洪福
? 第3、4章：劉康
? 第5章：陳熠祺
? 第6、8章：劉詩韻
? 第9章：王剛、張夢夢
? 第10章：江付、趙中山
? 第11章：胡明昊、張梓聰、孟猛
? 第12章：任海峰
全書各章由郝香山、萬夢晨完成統稿校對。
?
在本書寫作過程中，得到清華大學孫雪老師、電子工業出版社朱雨萌老師及審稿專家的專業指導，得到饒琛琳、梁玫娟、丘木子、尹云飛、黃俊毅、黎吾平、詹凱、馬陽光等日志易同事的支持與幫助，在此一並致謝。
經驗所限，書中內容難免有錯誤不當之處，歡迎讀者朋友批評指正。

陳軍
日志易CEO
2021年春節於北京

第1章 走近日志 001
1.1 什麼是日志 002
1.1.1 日志的概念 002
1.1.2 日志生態系統 002
1.1.3 日志的作用 003
1.2 日志數據 004
1.2.1 日志環境與日志類型 005
1.2.2 日志語法 006
1.2.3 日志管理規範 009
1.2.4 日志使用誤區 009
1.3 云日志 010
1.4 日志使用場景 011
1.4.1 運維監控 011
1.4.2 安全審計 012
1.4.3 業務分析 013
1.4.4 物聯網 015
1.5 日志未來展望 016
第2章 日志管理 017
2.1 概述 018
2.2 日志管理相關法律 018
2.3 日志管理要求 019
2.4 日志管理中存在的問題 019
2.5 日志管理的好處 020
2.6 日志歸檔 024
第3章 日志管理與分析系統 025
3.1 日志管理與分析系統的基本功能 026
3.1.1 日志采集 026
3.1.2 數據清洗 027
3.1.3 日志存儲 027
3.1.4 日志告警 027
3.1.5 日志分析 028
3.1.6 日志可視化 028
3.1.7 日志智能分析 028
3.1.8 用戶與權限管理 029
3.1.9 系統管理 029
3.2 日志管理與分析系統技術選型 030
3.2.1 日志分析的基本工具 030
3.2.2 開源 自研 032
3.2.3 商業產品 032
3.3 小結 035
第4章 日志采集 036
4.1 日志采集方式 037
4.1.1 Agent采集 037
4.1.2 Syslog 038
4.1.3 抓包 039
4.1.4 接口采集 039
4.1.5 業務埋點采集 040
4.1.6 Docker日志采集 040
4.2 日志采集常見問題 041
4.2.1 事件合並 042
4.2.2 高並發日志采集 043
4.2.3 深層次目錄采集 043
4.2.4 大量小文件日志采集 044
4.2.5 其他日志采集問題 044
4.3 小結 045
第5章 字段解析 046
5.1 字段的概念 047
5.2 通用字段 048
5.2.1 時間戳 048
5.2.2 日志來源 048
5.2.3 執行結果 049
5.2.4 日志優先級 049
5.3 字段抽取 049
5.3.1 日志語法 050
5.3.2 字段抽取方法 050
5.3.3 常用日志類型的字段抽取 052
5.4 schema on write與schema on read 054
5.5 字段解析常見問題 055
5.5.1 字段存在別名 055
5.5.2 多個時間戳 055
5.5.3 特殊字符 055
5.5.4 封裝成標準日志 056
5.5.5 類型轉換 056
5.5.6 敏感信息替換 056
5.5.7 HEX轉換 057
5.6 小結 057
第6章 日志存儲 058
6.1 概述 059
6.2 日志存儲形式 059
6.2.1 普通文本 059
6.2.2 二進制文本 060
6.2.3 壓縮文本 063
6.2.4 加密文本 064
6.3 日志存儲方式 064
6.3.1 數據庫存儲 064
6.3.2 分布式存儲 067
6.3.3 文件檢索系統存儲 069
6.3.4 云存儲 071
6.4 日志物理存儲 073
6.5 日志留存策略 073
6.5.1 空間策略維度 074
6.5.2 時間策略維度 074
6.5.3 起始位移策略維度 074
6.6 日志搜索引擎 074
6.6.1 日志搜索概述 075
6.6.2 實時搜索引擎 075
6.7 小結 077
第7章 日志分析 078
7.1 概述 079
7.2 日志分析現狀 079
7.2.1 對日志的必要性認識不足 079
7.2.2 缺乏日志分析專業人才 079
7.2.3 日志體量大且分散，問題定位難 080
7.2.4 數據外泄 080
7.2.5 忽略日志本身的價值 080
7.3 日志分析解決方案 080
7.3.1 數據集中管理 080
7.3.2 日志分析維度 081
7.4 常用分析方法 082
7.4.1 基線 082
7.4.2 聚類 083
7.4.3 閾值 083
7.4.4 異常檢測 083
7.4.5 機器學習 084
7.5 日志分析案例 085
7.5.1 Linux系統日志分析案例 085
7.5.2 運營分析案例 086
7.5.3 交易監控案例 088
7.5.4 VPN異常用戶行為監控案例 088
7.5.5 高效運維案例 089
7.6 SPL簡介 090
7.7 小結 092
第8章 日志告警 093
8.1 概述 094
8.2 監控設置 094
8.3 告警監控分類 098
8.3.1 命中數統計類型的告警監控 098
8.3.2 字段統計類型的告警監控 099
8.3.3 連續統計類型的告警監控 100
8.3.4 基線對比類型的告警監控 100
8.3.5 自定義統計類型的告警監控 101
8.3.6 智能告警 102
8.4 告警方式 102
8.4.1 告警發送方式 102
8.4.2 告警抑制和恢復 105
8.4.3 告警的插件化管理 105
8.5 小結 105
第9章 日志可視化 106
9.1 概述 107
9.2 可視化分析 107
9.2.1 初識可視化 107
9.2.2 圖表與數據 109
9.3 圖表詳解 110
9.3.1 序列類圖表 110
9.3.2 維度類圖表 116
9.3.3 關係類圖表 119
9.3.4 復合類圖表 123
9.3.5 地圖類圖表 125
9.3.6 其他圖表 127
9.4 日志可視化案例 134
9.4.1 MySQL性能日志可視化 134
9.4.2 金融業務日志可視化 138
9.5 小結 140
第10章 日志平臺兼容性與擴展性 142
10.1 RESTful API 143
10.1.1 RESTful API概述 143
10.1.2 常見日志管理API類型 144
10.1.3 API設計案例 145
10.2 日志App 147
10.2.1 日志App 概述 147
10.2.2 日志App的作用和特點 147
10.2.3 常見日志App類型 148
10.2.4 典型日志App案例 151
10.2.5 日志App的發展 155
第11章 智能運維 157
11.1 概述 158
11.2 異常檢測 159
11.2.1 單指標異常檢測 160
11.2.2 多指標異常檢測 166
11.3 根因分析 167
11.3.1 相關性分析 168
11.3.2 事件關聯關係挖掘 170
11.4 日志分析 170
11.4.1 日志預處理 171
11.4.2 日志模式識別 172
11.4.3 日志異常檢測 172
11.5 告警收斂 173
11.6 趨勢預測 175
11.7 智能運維面臨的挑戰 176
第12章 SIEM 177
12.1 概述 178
12.2 信息安全建設中存在的問題 179
12.3 日志分析在SIEM中的作用 179
12.4 日志分析與安全設備分析的異同 180
12.5 SIEM功能架構 181
12.6 SIEM適用場景 182
12.7 用戶行為分析 191
12.8 小結 198
參考文獻 199