Splunk介紹

什麼是 Splunk ? Splunk 是世界領先的操作情報軟體供應商，此軟體可用來監視、報告及分析實時的機器資料，以及位於內部或在雲端中的百萬位元組歷史資料。全球共有 85 個國家，超過 4,800 家企業、服務供應商及政府組織使用 Splunk，來改善服務等級、降低 IT 操作成本、降低安全風險，以及提供新等級的操作可見度。

 

Splunk 會收集您的所有機器資料 (實體、虛擬以及在雲端中) 並編製索引。讓您的資料更容易取得、更容易使用且更有價值。對所有資料編製索引，以深入檢視、鑑識、解決問題。以更聰明的方式工作，讓您和您的團隊能夠分享有用的搜尋結果，並增添 IT 環境中獨特的知識。建立臨時報表以辨識趨勢，或證明法規遵循控制。建置實時儀表板，以監視安全事件與攻擊、應用程式 SLA 及其他重要的效能指標。以實時方式分析使用者交易、客戶行為、機器行為、安全威脅、詐欺活動及其他更多內容。

 

 

更多詳細內容請參考

Splunk 官網

IThone – Splunk顛覆Log管理的應用型式

網管人 – 用Splunk簡化數據分析系統製作流程

中研院 – 機房事件監控軟體介紹-Splunk

 

 

免費版與企業版 比較

在安裝完 Splunk 後都會有60天的全功能試用期，在這之後就會轉會成永久使用免費授權或購買企業授權。免費版在資料流量的部份，每天是500MB。而企業版無限(但需要依照所購買的Licensed而定)。在免費版的部份是不提供監視和警告、PDF 報表和分散搜尋等其他功能。

 

Splunk 安裝設定

Splunk 安裝的部份，有提供多系統的安裝。以下的介紹用 windows 來做安裝和基本設定。

下載

主程式下載

官網 : http://zh-hant.splunk.com/download

本站載點 : 32位元  64位元

 

安裝

點擊安裝檔後開始安裝，下圖為歡迎頁面。

 

相關協議，如果沒問題的話就選擇「I accept the terms in the license agreement」然後在選「Next」

 

選擇安裝的資料夾，若沒有特殊需求使用預設就行了

 

選擇登入項目，使用「Local system user」就行了

 

安裝前最後確認，沒問題的話就按下「Install」

 

安裝過程中請稍後

 

安裝完成

 

 

登入

在安裝完成後會自動開啟網頁，在此部份會建議使用「Google Chrome」或「Firefox」不建議使用IE，因為IE在HTML5和Flash的支援較差。

如果下次要登入

本機的部份可以直接在網址輸入「127.0.0.1:8000或localhost:8000」

外網的話就輸入「外網ip:8000」，要記得防火牆要開通8000 port才訪問的到網頁

 

登入時系統會提供帳號和密碼。

 

第一次登入時會要求更改密碼

 

下圖就是登入後的畫面了

 

 

設定

以下設定所使用到的檔案都在本站載點找到，請自行下載。

Splunk App 下載安裝

Splunk App 主要是用來與各種不同的log相互應用。也就是假設今天我要分析VMware的log，我就可以先找到VMware的app後，在匯入要分析的log。這樣一來，此log就會因為有此app 更可以較準確的分析。目前已經有300多種 app 可供使用

 

「應用程式」→「管理應用程式」

 

在APP應用程式找尋上，可分為「線上尋找」和「官網尋找」

 

若是使用線上尋找的話。在點選「線上尋找更多應用程式」會看到下圖

可直接尋找，或使用右方的搜尋來找APP。不過如果使用「線上尋找更多應用程式」找不到所需要的APP的話就請到官方網站來尋找，官網會有更多的APP。

 

若是直接使用「線上尋找更多應用程式」，找到該app後點選「安裝Free版本」，一樣會出現要輸入 Splunk 官網的會員帳密。

 

官網尋找

請先到官網 http://splunk-base.splunk.com/apps/

可直接點選所需要的 app 做下載，或直接使用右上方的搜尋來找需要的app

不過在官網下載 app 的話，需要先行註冊申請加入會員才可下載

 

在官網下載好app後，可使用「從檔案安裝應用程式」來將app裝上。

 

以下示範

(由於操作方便，以先行下載，可使用本站提供的檔案或自行到官網下載)

 

範例1. 安裝 Citrix Netscaler App

檔案下載 : SplunkforCitrixNetScaler_v4.7.tgz

 

範例2. 安裝 F5 Security App

檔案下載 : SplunkforF5Security.tgz

(此範例還請自行練習，就不重覆說明)

 

1. 點選「從檔案安裝應用程式」

 

2. 點選「選擇檔案」找到 SplunkforCitrixNetScaler_v4.7.tgz

「Upgrade app. Checking this will overwrite the app if it already exists」此項是在說，如果此APP已經存在的話是否要更新為該版本。就依個人決定是否要打勾吧。

確定之後按下「上傳」

 

安裝完成後，會自動彈跳到此頁面

點選「應用程式」可查看是否安裝成功

 

點選「應用程式」後，會看到多出一個新的APP，那就表示安裝成功了。

 

 

匯入 LOG 資料

由於log 總類非常多，Splunk基本上都可以處理。Splunk 預設支源的格式很多(如 Key-Value,CSV with header,JSON,XML等…)都可自動解析。

 

以下就用兩個簡單的範例說明一下

範例 1. 匯入LOG資料  citrix-ns-full.log

檔案下載 : citrix-ns-full.log.zip

提示 : sourcetype 要設定為 ns_log

 

範例 2. 匯入LOG資料  f5-asm.log

檔案下載 : f5-asm.log.zip

提示 : sourcetype 要設定為 asm_log

(此範例還請自行練習，就不重覆說明)

 

範例 3. 匯入LOG資料  sample-log.csv

檔案下載 : smartwaf-sample-log.csv.zip

提示 : sourcetype 要設定為 smartwaf_log

(此範例還請自行練習，就不重覆說明)

 

在 sourcetype(來源類型) 的部份可以自行設定，這邊主要是為了後面的介紹方便而指定的。

 

回到主目錄，若不知怎麼回主目錄的話，可直接在網址重新輸入127.0.0.1:8000

點選「新增資料」

 

LOG匯入的總類很多，之後可依自行需求而選擇。不過在此範例中請選「檔案或檔案目錄」

 

接下來選擇檔案所在位置，由於已經先行下載到電腦中，因此就選第一個「取用此 Splunk 伺服器上的任何檔案」然後點下一步

 

詢問是否要預覽數據，選「Skip preview」略過並手動設定就行了。因為有時用自動的話容易設定不正確。

 

接下來手動設定

1. 請先選「上傳並檢索檔案」然後選到citrix-ns-full.log.zip
2. 把「更多設定」打勾
3. 在來源類型的部份，改成手動，並輸入ns_log

之後就可按下儲存

 

完成後會出現下圖。如果還有其他資料要匯入可以選「新增更多資料」繼續匯入。如果沒有就可點選「開始搜尋」

 

按下開始搜尋後會看到剛剛匯入的資料

 

LOG 欄位設定 (互動式資料擷取器)

此欄位設定，主要是怕預設所抓出來的沒有所需要的。因此可以借由自行抓取欄位的方式，來增加LOG分析的能力。

 

用簡單的範例說明，如何「擷取」Clientip的欄位

 

在「來源類型」的部份選擇要設定的LOG類型

 

在下圖的部份，左下方是已經分類出來的欄位。下方其他的部份為LOG記錄

 

如果在左下方沒有所需要的欄位時，可點該LOG後選「擷取欄位」

 

圈選要擷取的LOG資料後，可用拖曳的方式拉到上方的「欄位的範例值」，在這邊請記得一行一個數值，盡量多一點才會抓取的比較正確。完成後點選「產生」

 

接下來在左下方會出現，以抓取到的資料。可針對這些資料做「編輯」、「測試」、「儲存」，如果都完成後就點選儲存。

 

輸入該欄位的名稱

 

儲存完成，可選「關閉」或「管理擷取結果」

 

 

若是選擇「管理擷取結果」會出現所有的已擷取到的資料。並且可以設定相關權限

 

若按下「關閉」就會回到該LOG頁面，此時會在左下方看到剛剛新增的「Clientip」資料。如果沒出現的話可重新整理頁面就會出現了。

 

以下還有五種欄位的擷取練習，有興趣的可以自行練習。

Hostname

Method
Uri

Action

Request_type

 

 

Splunk 搜尋指令組合運用

在搜尋指令的運用上，可以結合布林代數一同使用。

布林代數 AND、OR 和 NOT (請注意在使用上都必須為大寫，否則不視為指令)

指令範例 : error AND fail OR failed NOT failure

執行 : 關鍵字 AND關鍵字OR關鍵字 NOT  (可累加使用)

 

參考資料 : 官網   官網-所有命令搜尋  官網-熱門指令

Splunk-5.0.1-SearchReference PDF : 官網載點   本站載點

 

 

布林代數搜尋指令組合運用

萬用字* 與 quotation mark “”與 ()

例: fail* AND “Yes, we can” OR(error AND fail)

執行關鍵字* 包括接續的全部AND”字串片語”OR(子搜尋)

以上可巢狀多層使用

 

例:

1. http AND error NOT (403 OR 404)
2. “purchase”OR “cart”

 

 

以下有一個練習題  有興趣的可以自己玩玩看 (由於表示方式很多 這邊就不提供答案)

1. 搜尋阻擋的存取行為
2. 找出被阻擋最多次的前十大IP
3. 找出被阻擋的URL以及被阻擋的次數

 

 

建立儀表板 / 組合頁面

在設定儀表板的方式有很多種，這麼就簡單介紹一種。

先在搜尋列輸入要找尋的指令，在下方會出現該指令所要找尋的資料，然後在點選右上方的「建立」 → 「Dashboard panel…」

 

輸入此面板的名稱

 

在儀表板的部份，如果都還沒設過的話可選「新增儀表板名稱」輸入名稱。

如果已經有現成的話可選下方的「現有儀表板」

 

設定面板標題、視覺化(此部份有多種項目能選擇)，還有設定排程(多少搜尋一次)

 

新增完成

 

查看儀表板，可點選左上方的「儀表板和檢視」→「01(選擇剛剛新增的儀表板名稱)」

 

以下就是新產生的儀表板。

 

如果要編輯或修改板位的話，可點選右上方的「開」。然後會看到每一個面板都會多出「編輯」的字樣。點選後就可做相關的設定。也可使用拖曳的方式修改面板的位置。

在面板的設定上是三排。第一排最多3個面板，第二排最多2個面板，第三排就只能有1個面板。

 

 

到這邊Splunk的安裝和基本設定就大致說明完，如果想更深入了解可自行去參加相關課程