目录

      • 1 缘由
      • 2 编译filebeat
      • 3 配置虚拟机访问外网
      • 4 编译beats-output-http
        • 4.1 使用本地包
        • 4.2 发布在线包
      • 5 测试
      • 6 beats-output-http的部分解释

1 缘由

官网的filebeat只有以下几种output插件:

  • Elasticsearch Service
  • Elasticsearch
  • Logstash
  • Kafka
  • Redis
  • File
  • Console

由于需要将数据推送到接口,需要能够支持类似logstash中的http插件。

2 编译filebeat

依照Beats的文档编译filebeat:

mkdir -p ${GOPATH}/src/github.com/elasticgit clone https://github.com/elastic/beats ${GOPATH}/src/github.com/elastic/beats

进入到beats根目录,执行make mage

最后进入到filebeat目录,执行mage build

3 配置虚拟机访问外网

在用golang编译时,可能需要从外部下载一些包,如果使用虚拟机,在默认情况下,宿主机可以科学上网,但是虚拟机不行,此时,可以使用宿主机作为虚拟机的代理。

  • 宿主机开启代理,例如,对于Clash来说,开启”允许局域网”和”TUN模式”
  • 在虚拟机中测试是否能够连接宿主机上的端口
  • 配置http_proxy和https_proxy环境变量

4 编译beats-output-http

按照文档,直接在beats/filebeat/main.go的import部分加上_ "github.com/raboof/beats-output-http/http",然后重新编译即可。

4.1 使用本地包

在进行编译时,发现会报错:

http/client.go:82:19: assignment mismatch: 2 variables but transport.TLSDialer returns 1 value

应该是libbeat中的代码有变化导致的,需要修改代码,将beats-output-http克隆到本地后,需要在编译时使用本地包,可以用两种方式:

  • 直接修改go.mod:在beats/go.mod中找到beats-output-http所在的行,然后在beats/go.mod文件最后增加一行replace github.com/luofengmacheng/beats-output-http v0.0.0-20230524012217-1e747e762355 => /root/src/github.com/elastic/beats/libbeat/outputs/http,其中,模块名和版本与之前找到的beats-output-http的行一致,后面的路径就是beats-output-http的路径(此处重命名为http)。
  • 使用go mod edit命令:go mod edit -require github.com/luofengmacheng/beats-output-http@v0.0.0-20230524012217-1e747e762355 -replace github.com/luofengmacheng/beats-output-http@v0.0.0-20230524012217-1e747e762355=/root/src/github.com/elastic/beats/libbeat/outputs/http

这里需要注意:不要删除beats/go.mod的require中的beats-output-http的行,否则会报错:and is replaced but not required

然后就可以进入filebeat目录进行编译了。

4.2 发布在线包

当需要对beats-output-http进行bug修复时,可以将beats-output-http从原来的仓库fork过来,然后进行bug修复。那么,在使用beats-output-http时就需要使用新的仓库,此时需要进行两个调整:

  • 修改beats-output-http/go.mod中的模块名,改成新的仓库路径
  • 创建tag

然后删除beats/go.mod中原来的模块信息,再进行编译。

5 测试

编译完成后,会在beats/filebeat目录下生成二进制文件filebeat,创建配置文件filebeat.yaml:

filebeat.inputs:- type: logenabled: truepaths:- /etc/kubernetes/audit/audit.logoutput:http:hosts: ["IP:HOST"]

测试:./filebeat run -c ./filebeat.yaml -e

6 beats-output-http的部分解释

http的output本身的实现是非常简单的,就是将数据推送到某个url,主要的工作就是要对接beats的配置和插件管理工作。

第一步:让beats知道有这样一个http插件

在libbeat的outputs包中,RegisterType()用于注册插件,其实就是将插件的名称和构造函数保存起来:

// beats-output-http/http/http.gofunc init() {outputs.RegisterType("http", MakeHTTP)}
// libbeat/outputs/output_reg.go// RegisterType registers a new output type.func RegisterType(name string, f Factory) {if outputReg[name] != nil {panic(fmt.Errorf("output type'%v' exists already", name))}outputReg[name] = f}

就是将插件的信息保存到内部的outputReg的map中,在初始化时就可以调用插件的构造函数。插件的构造函数就是解析配置,创建后端的Client对象。

第二步:Client的接口实现

filebeat调用构造函数完成初始化后,http插件就需要接收数据,然后实现具体的业务逻辑。