有时为了日志解耦,通常不把日志打到文件,而是直接打到kafka,而为了分析日志,我们可以通过sidecar的方式,把日志从kafka写入到es里,而通过kibana对日志进行分析。
我的k8s-fluentd的相关文章
k8s~部署EFK框架
k8s~为服务添加sidecar边斗
k8s~fluentd的configmap设置es索引前缀
ELK~fluentd多行日志的收集
使用docker的镜像
lypgcs/fluentd-es-kafka:v1.3.2
fluent.conf配置
可以添加configMap,扩展性更好,下面说一下配置的含义
名称是fluentd-config,内部文件名是fluent.conf
- brokers 这是kafka的地址
- consumer_group 消费组名称
- format json 表示kafka里存储的是json格式
- start_from_beginning true表示从头消费,false从最新的消息
- topics 表示监控的主题,多个之间用逗号分开
- tag 表示索引名称
- flush_interval 刷新频率
- logstash_format index是否使用logstash命名方式(logstash-%Y.%m.%d),默认不启用
- logstash_prefix:logstash_format启用的时候,index命名前缀是什么。默认为logstash
- include_tag_key true #把tag当做字段写入ES,如果需要自定义tag时,可以添加这项
- tag_key @log_name
@type kafka_groupbrokers test11:9092consumer_group fluentd-k8sformat jsontopics KC_AUTHORIZATION_POLICY,KC_AUTHORIZATION_POLICY_CREATE,KC_AUTHORIZATION_POLICY_DELETE,KC_AUTHORIZATION_POLICY_UPDATE,KC_AUTHORIZATION_RESOURCE_CREATE,KC_AUTHORIZATION_RESOURCE_DELETE,KC_CLIENT_LOGIN,KC_CLIENT_ROLE_MAPPING_CREATE,KC_CLIENT_ROLE_MAPPING_DELETE,KC_GROUP_CREATE,KC_GROUP_DELETE,KC_GROUP_MEMBERSHIP_CREATE,KC_LOGIN_ERROR,KC_LOGOUT,KC_REALM_ROLE_CREATE,KC_REALM_ROLE_MAPPING_CREATE,KC_REALM_ROLE_MAPPING_DELETE,KC_USER_ACTION,KC_USER_CREATE,KC_USER_DELETE,KC_USER_INFO_REQUEST,KC_USER_UPDATE,KC_CODE_TO_TOKEN_ERROR,KC_LOGIN@type elasticsearchhost 192.168.60.10port 9200logstash_format trueflush_interval 10slogstash_prefix fluentd-log
k8s编排
apiVersion: apps/v1kind: Deploymentmetadata: name: fluentd-log-deployment namespace: defaultspec: replicas: 1 selector: matchLabels: app: fluentd-log template: metadata: labels: app: fluentd-log spec: hostAliases: - ip: "192.168.10.11" hostnames: ["test11"] containers: - name: fluentd-log-controller image: lypgcs/fluentd-es-kafka:v1.3.2 volumeMounts: - name: config-volume mountPath: /etc/fluent volumes: - name: config-volume configMap: name: kafka-fluentd #滚动升级策略 strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0
基于fluentd风格的按日期为索引的命名
最后在kibana里的格式化后的数据
作者:仓储大叔,张占岭,
荣誉:微软MVP
QQ:853066980
支付宝扫一扫,为大叔打赏!