日志收集流程

對(duì)于日志收集的客戶端，其work pipeline通常包括三個(gè)過(guò)程：input，process，output。

專注于為中小企業(yè)提供網(wǎng)站設(shè)計(jì)、做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)費(fèi)縣免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上1000+企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

• input： 適配各類日志接入源，目前l(fā)ogtail支持文本文件、syslog（tcp流式）兩種形式數(shù)據(jù)寫(xiě)入。
• process：自定義日志處理邏輯，常見(jiàn)的有：日志切分、日志編碼轉(zhuǎn)換、日志結(jié)構(gòu)化解析、日志過(guò)濾等等。
• output：定義日志輸出，例如logtail以http協(xié)議寫(xiě)數(shù)據(jù)到日志服務(wù)。

今天要介紹logtail在日志處理階段的兩個(gè)新功能：轉(zhuǎn)碼、過(guò)濾

日志轉(zhuǎn)碼

日志服務(wù)限制數(shù)據(jù)的字符編碼為utf-8，這也是logtail在發(fā)送數(shù)據(jù)階段對(duì)于字符編碼的要求。

但可能一些較老的應(yīng)用組件在處理中文的時(shí)候，會(huì)打印gbk編碼的數(shù)據(jù)到日志文件。

這種情況下，你可以在logtail配置的高級(jí)選項(xiàng)中，選擇日志文件編碼為”gbk“。那么，logtail在采集日志時(shí)，會(huì)對(duì)日志內(nèi)容先做gbk到utf-8的編碼轉(zhuǎn)換，再進(jìn)行后續(xù)處理。

logtail目前支可以支持utf-8和gbk兩種文件編碼格式。對(duì)于gbk格式，logtail使用linux系統(tǒng)的iconv api，編碼轉(zhuǎn)換過(guò)程中會(huì)額外消耗機(jī)器計(jì)算資源。

問(wèn)：如何判斷我的gbk日志文件是否可以通過(guò)logtail收集？
答：在linux shell下使用iconv命令進(jìn)行轉(zhuǎn)碼測(cè)試，假設(shè)日志文件名為gbk.log，執(zhí)行命令：成都服務(wù)器托管

如果執(zhí)行成功則說(shuō)明文件編碼是gbk；如執(zhí)行失?。愃苅conv: illegal input sequence at position 2743錯(cuò)誤），則說(shuō)明文件不是合法的gbk編碼，無(wú)法通過(guò)logtail做編碼轉(zhuǎn)換，請(qǐng)嘗試調(diào)整應(yīng)用輸出的日志文件編碼格式為utf-8。

日志過(guò)濾

舉一個(gè)web服務(wù)器的例子，nginx每時(shí)每刻接收大量請(qǐng)求，并在access.log記錄這些請(qǐng)求：成都服務(wù)器托管

對(duì)于問(wèn)題調(diào)查的場(chǎng)景，http 200請(qǐng)求的日志量通常是巨大的，如果我們希望降低日志存儲(chǔ)的成本，只上傳發(fā)生異常的請(qǐng)求日志，應(yīng)該怎么來(lái)做呢？

在今天，你可以打開(kāi)logtail配置的高級(jí)選項(xiàng)，設(shè)置過(guò)濾器來(lái)解決數(shù)據(jù)過(guò)濾的問(wèn)題。

如上圖所示，分別對(duì)url字段和status字段設(shè)置了兩個(gè)過(guò)濾器。指定字段key存在且value符合正則表達(dá)式的日志會(huì)被保留。

定義多個(gè)過(guò)濾器的時(shí)候，判斷條件是“與”的關(guān)系，滿足所有過(guò)濾器設(shè)置的日志是合法的，否則被丟棄。

對(duì)于一條日志，當(dāng)url字段與"(posts.）|(gets.)"匹配成功且status字段與"[345]d+"匹配成功的時(shí)候（只采集post、get請(qǐng)求且狀態(tài)碼非200的日志），logtail將該日志上傳至日志服務(wù)，如下圖所示：成都服務(wù)器托管

如果設(shè)置過(guò)濾器的字段名在日志里找不到，那么這條日志也是不合法的，需要被丟棄。默認(rèn)情況下，用戶沒(méi)有任何過(guò)濾器設(shè)置的情況下，所有被logtail讀取并解析成功的日志數(shù)據(jù)都會(huì)寫(xiě)入日志服務(wù)。

實(shí)例配置：成都服務(wù)器托管

只收集匹配到 topic 為 action 或者 plugin 的日志

更多關(guān)于阿里云日志服務(wù)日志過(guò)濾器配置技術(shù)文章請(qǐng)查看下面的相關(guān)鏈接

原文鏈接：https://www.cnblogs.com/weifeng1463/p/10577272.html

分享標(biāo)題：阿里云日志服務(wù)日志過(guò)濾器配置
轉(zhuǎn)載來(lái)源：http://sd-ha.com/article22/chgjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、軟件開(kāi)發(fā)、電子商務(wù)、定制開(kāi)發(fā)、域名注冊(cè)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)