Memory Channel有很大的丟數(shù)據(jù)風(fēng)險(xiǎn)，而且容量一般，F(xiàn)ile Channel雖然能緩存更多的消息，但如果緩存下來的消息還沒寫入Sink，此時(shí)Agent出現(xiàn)故障則File Channel中的消息一樣不能被繼續(xù)使用，直到該Agent恢復(fù)。
而Kafka Channel容量大，容錯(cuò)能力強(qiáng)。
有了Kafka Channel可以在日志收集層只配置Source組件和Kafka組件，不需要再配置Sink組件，減少了日志收集層啟動(dòng)的進(jìn)程數(shù)，有效降低服務(wù)器內(nèi)存、磁盤等資源的使用率。
而日志匯聚層，可以只配置Kafka Channel和Sink，不需要再配置Source。
kafka.consumer.auto.offset.reset，當(dāng)Kafka中沒有Consumer消費(fèi)的初始偏移量或者當(dāng)前偏移量在Kafka中不存在（比如數(shù)據(jù)已經(jīng)被刪除）情況下 Consumer選擇從Kafka拉取消息的方式，earliest表示從最早的偏移量開始拉取，latest表示從最新的偏移量開始拉取，none表示如果沒有發(fā)現(xiàn)該 Consumer組之前拉取的偏移量則拋出異常。
京公網(wǎng)安備 11010802030320號(hào)