clickhouse-logger
描述#
clickhouse-logger 是一个插件，可将 Log 数据请求推送到 clickhouse 服务器。
属性#
| 名称 | 类型 | 必选项 | 默认值 | 有效值 | 描述 |
|---|---|---|---|---|---|
| endpoint_addr | string | 必须 | clickhouse 服务器的 endpoint。 | ||
| database | string | 必须 | 使用的数据库。 | ||
| logtable | string | 必须 | 写入的表名 。 | ||
| user | string | 必须 | clickhouse 的用户。 | ||
| password | string | 必须 | clickhouse 的密码 。 | ||
| timeout | integer | 可选 | 3 | [1,...] | 发送请求后保持连接活动的时间。 |
| name | string | 可选 | "clickhouse logger" | 标识 logger 的唯一标识符。 | |
| ssl_verify | boolean | 可选 | true | [true,false] | 验证证书。 |
本插件支持使用批处理器来聚合并批量处理条目（日志/数据）。这样可以避免插件频繁地提交数据，默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据，如需了解或自定义批处理器相关参数设置，请参考 Batch-Processor 配置部分。
如何开启#
这是有关如何为特定路由启用 clickhouse-logger 插件的示例。
curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '{ "plugins": { "clickhouse-logger": { "user": "default", "password": "a", "database": "default", "logtable": "test", "endpoint_addr": "http://127.0.0.1:8123" } }, "upstream": { "type": "roundrobin", "nodes": { "127.0.0.1:1980": 1 } }, "uri": "/hello"}'测试插件#
成功：
$ curl -i http://127.0.0.1:9080/helloHTTP/1.1 200 OK...hello, world插件元数据设置#
| 名称 | 类型 | 必选项 | 默认值 | 有效值 | 描述 |
|---|---|---|---|---|---|
| log_format | object | 可选 | {"host": "$host", "@timestamp": "$time_iso8601", "client_ip": "$remote_addr"} | 以 JSON 格式的键值对来声明日志格式。对于值部分，仅支持字符串。如果是以 $ 开头，则表明是要获取 APISIX 变量或 Nginx 内置变量。请注意，该设置是全局生效的，因此在指定 log_format 后，将对所有绑定 clickhouse-logger 的 Route 或 Service 生效。 |
设置日志格式示例#
curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/clickhouse-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '{ "log_format": { "host": "$host", "@timestamp": "$time_iso8601", "client_ip": "$remote_addr" }}'创建 clickhouse log table
CREATE TABLE default.test ( `host` String, `client_ip` String, `route_id` String, `@timestamp` String, PRIMARY KEY(`@timestamp`)) ENGINE = MergeTree()在 clickhouse 上执行select * from default.test;，将得到类似下面的数据：
┌─host──────┬─client_ip─┬─route_id─┬─@timestamp────────────────┐│ 127.0.0.1 │ 127.0.0.1 │ 1 │ 2022-01-17T10:03:10+08:00 │└───────────┴───────────┴──────────┴───────────────────────────┘禁用插件#
在插件配置中删除相应的 json 配置以禁用 clickhouse-logger。APISIX 插件是热重载的，因此无需重新启动 APISIX：
$ curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '{ "methods": ["GET"], "uri": "/hello", "plugins": {}, "upstream": { "type": "roundrobin", "nodes": { "127.0.0.1:1980": 1 } }}'