采集Linux系统Syslog

实现原理

在Linux服务器中，您可以通过rsyslog等syslog agent将本地的syslog数据转发到指定服务器IP地址和端口上。Logtail对指定的地址和端口进行监听，以TCP协议或UDP协议接收转发过来的syslog数据，并根据指定的syslog协议进行解析，提取日志中的facility、tag（program）、severity、content等字段。

Syslog协议支持RFC3164和RFC5424。

操作步骤

本文以采集ECS服务器Syslog的为例。

1. 登录日志服务控制台。

2. 在接入数据区域，选择自定义数据插件。

3. 选择目标Project和Logstore，单击下一步。

4. 创建机器组。

   • 如果您已有可用的机器组，请单击使用现有机器组。

   • 如果您还没有可用的机器组，请执行以下操作（以ECS为例）。

     1. 在ECS机器页签中，通过手动选择实例方式选择目标ECS实例，单击创建。

        具体操作，请参见安装Logtail（ECS实例）。

        重要

        如果您的服务器是与日志服务属于不同账号的ECS、其他云厂商的服务器和自建IDC时，您需要手动安装Logtail。具体操作，请参见安装Logtail（Linux系统）或安装Logtail（Windows系统）。手动安装Logtail后，您必须在该服务器上手动配置用户标识。具体操作，请参见配置用户标识。

     2. 确认参数配置无误后，单击确定。

     3. 安装完成后，单击确认安装完毕。

     4. 在创建机器组页面，输入名称，单击下一步。

        日志服务支持创建IP地址机器组和用户自定义标识机器组，详细参数说明请参见创建IP地址机器组和创建用户自定义标识机器组。

5. 确认目标机器组已在应用机器组区域，单击下一步。

   重要

   创建机器组后立刻应用，可能因为连接未生效，导致心跳为FAIL，您可单击自动重试。如果还未解决，请参见Logtail机器组无心跳进行排查。

6. 在数据源设置页签中，设置配置名称，并复制以下配置脚本粘贴到插件配置输入框中，然后单击下一步。

   {
        "inputs": [
            {
                "type": "service_syslog",
                "detail": {
                    "Address": "tcp://0.0.0.0:9000",
                    "ParseProtocol": "rfc3164"
                }
            },
            {
                "type": "service_syslog",
                "detail": {
                    "Address": "udp://0.0.0.0:9001",
                    "ParseProtocol": "rfc3164"
                }
            }
        ]
    }

   脚本中参数说明如下所示：

   参数	类型	是否必选	说明
   type	string	是	数据源类型，固定为service_syslog。
   Address	string	否	指定Logtail监听的协议、地址和端口，Logtail会根据Logtail配置进行监听并获取日志数据。格式为[tcp/udp]://[ip]:[port]。不配置时，默认为tcp://127.0.0.1:9999，即表示只能接收本地转发的日志。 说明 Logtail配置中设置的监听协议、地址和端口号必须与rsyslog配置文件设置的转发规则相同。 如果安装Logtail的服务器有多个IP地址可接收日志，可以将地址配置为0.0.0.0，表示监听服务器的所有IP地址。
   ParseProtocol	string	否	指定解析日志所使用的协议，默认为空，表示不解析。其中： 空：不解析。 rfc3164：指定使用RFC3164协议解析日志。 rfc5424：指定使用RFC5424协议解析日志。 auto：指定Logtail根据日志内容自动选择合适的解析协议。
   IgnoreParseFailure	boolean	否	指定解析失败后的操作，不配置时，默认为true，表示放弃解析，直接填充所返回的content字段。配置为false ，表示解析失败时丢弃日志。

7. 在查询分析配置页签中，单击自动生成索引。此时还不能采集到数据，您只需继续单击下一步完成Logtail采集配置即可。

8. 登录要采集Syslog的ECS服务器，完成rsyslog转发配置。

   1. 在syslog所在的服务器上修改rsyslog的配置文件/etc/rsyslog.conf，在配置文件的最后添加一行转发规则。

      添加转发规则后，rsyslog会将syslog转发至指定IP地址和端口。

      • 如果通过当前服务器采集本机syslog，配置转发地址为127.0.0.1，端口与Logtail采集配置中配置的端口保持一致。

      • 如果通过其他服务器采集本机syslog，配置转发地址为其他服务器的公网IP地址，端口与Logtail采集配置中配置的端口保持一致。

      例如以下配置表示将所有的日志都通过TCP转发至127.0.0.1:9000，配置文件详细说明请参见RSyslog Documentation。

      *.* @@127.0.0.1:9000

   2. 执行以下命令重启rsyslog，使日志转发规则生效。

      sudo service rsyslog restart

9. 打开日志服务控制台，在目标Logstore中查看采集到的Syslog数据。更多信息，请参见查询与分析快速指引。

日志字段说明

更多示例

问题排查

使用Logtail采集数据后，如果预览页面或查询页面无数据，您可以使用logger命令向本地Logtail发送数据，用于判断是写入端问题、网络问题还是Logtail端问题。

如果本地Logtail能接收到数据，则可能是写入端问题或网络问题。

logger -n localhost -P 9000 -T "This is a TCP syslog message"
logger -n localhost -P 9001 -d "This is a UDP syslog message"

此外，您还可以参见Logtail采集日志失败的排查思路进行排查。