● .net core 轻量级分布式日志解决方案

未雨绸缪,公司IoT项目中可能会出现的情况:

  • 多个TCP(UDP)/MQTT服务运行在多台服务器,每台服务器产生大量零碎化的日志文件。如果要查询某台设备某个时段的日志,需要定位到设备的日志文件的服务器,然后去那台服务器拉取日志文件到本地(或在线查找)。
  • 如果把log存到数据库(mysql),按天分表,因每天产生大量的数据,导致查询很慢。

    目前项目量级较小,只想在不增加运维工作的基础上,做轻量级的实现。Exceptionless和ELK太过重量级,也不想为了存储日志单独安装MongoDB。

    目前暂定两个方案:
    1、GRPC
    2、Redis

GRPC+Etcd版分布式日志

这个方案是在GitHub上找到的,项目地址:https://github.com/AlexanderTar/Distilled

如果使用这种方案,高并发下GRPC也需要做负载,架构图如下:

分布式日志GRPC+Etcd版

方案可行,使用这个方案,最优部署方式为docker。但增加了很多部署和运维工作量,所以暂时放弃。

Redis MQ版分布式日志

这个方案是最先想到的,因为redis在项目中运用广泛,只需要简单的配置和增加一个redis sub端即可实现。log4net、nlog、serilog扩展起来都很简单。

分布式日志Redis版

以NLog为例,引用NLog.Targets.Redis。项目地址:https://github.com/NLog/NLog.Targets.Redis


配置说明如下:



NLog.config增加以下配置:

<extensions>
    <add assembly="NLog.Targets.Redis" />
</extensions>

<targets>
    <target name="redis" xsi:type="Redis" host="127.0.0.1" port="6379" db="0"key="device/log"dataType="channel" 
                layout="${longdate} [${level}] ${message}" />
</targets>

<rules>
    <logger name="*" minlevel="Debug" writeTo="redis" />
  </rules>

主要实现源码:https://github.com/NLog/NLog.Targets.Redis/blob/master/src/NLog.Targets.Redis/RedisTarget.cs

dataType为channel时,key作为sub/pub的topic,dataType默认为list时,log会被ListRightPush到key名的list里。

这样只需要引用NLog.Targets.Redis,再写一个Sub端(可以使用CSRedis或StackExchange.Redis)订阅消息、再通过NLog存储到本地,即可实现redis轻量级分布式日志方案。

关于redis作为MQ的性能和丢包率,可以参考下面的文章: