log_collect_search
所属分类：中间件编程
开发工具：GO
文件大小：0KB
下载次数：0
上传日期：2020-01-19 06:25:41
上 传 者：
sh-1993
说明： 使用etcd、 kafka 、tail、elastic 实现日志配置中心、日志收集、日志搜索监控
(Use etcd, kafka, tail, elastic to implement log configuration center, log collection, log search monitoring)
文件列表:
.DS_Store (6148, 2020-01-18)
config/ (0, 2020-01-18)
config/conf.ini (226, 2020-01-18)
es/ (0, 2020-01-18)
es/config.go (629, 2020-01-18)
es/es.go (2021, 2020-01-18)
etcd/ (0, 2020-01-18)
etcd/config.go (468, 2020-01-18)
etcd/etcd.go (1824, 2020-01-18)
etcd/put.go (1229, 2020-01-18)
go.mod (2049, 2020-01-18)
go.sum (28364, 2020-01-18)
kafka/ (0, 2020-01-18)
kafka/config.go (431, 2020-01-18)
kafka/consumer.go (1721, 2020-01-18)
kafka/producer.go (1423, 2020-01-18)
main.go (690, 2020-01-18)
taillog/ (0, 2020-01-18)
taillog/config.go (419, 2020-01-18)
taillog/taillog.go (1267, 2020-01-18)
taillog/tailmgr.go (2521, 2020-01-18)
test_log/ (0, 2020-01-18)
test_log/mysql.log (47, 2020-01-18)
test_log/web.log (21, 2020-01-18)
## log_collect_search
使用etcd、kafka、tail、elastic 实现日志配置中心、日志收集、日志搜索监控
通过etcd获取日志的配置参数(日志的path和kafka的topic)，并通过watch实时监控最新的配置参数；
ectd将获取的配置发往tail，tail根据配置打开对应的日志文件，且一直获取日志文件的每一行数据；
tail将获取的日志数据发往kafka，kafka的生产者将会在后台生产日志数据；
kafka的消费者将会消费当前topic的数据，将数据发往es；
es收到日志数据后，把数据写入存储，可通过kibana搜索查询数据;
可使用Prometheus进行监控;
生产和消费写在一起了，当然是可以分开的。公共部分是etcd，生产方：tail，kafka producer；消费方：kafka consumer，elastic_search;
近期下载者：
相关文件：
收藏者：