ThreePerson博客

近日对接神策服务，发现了一些问题。神策server端收集打点数据，提供了http实时同步和logagent两种同步方式，由于http方式同步存在丢数据和性能问题，所以考logagent方式。logagent方式需要在程序里将打点数据写入文件，再通过logagent将数据同步到他们的数据服务。由于我们的服务是微服务，容器随时都会销毁，数据就会丢失。当然也不能在宿主机上写数据，否则实例动态伸缩就很麻烦了。通过阅读神策的consumer源码，发现consumer职责很简单，就是将数据写入文件或者已http方式发送给数据服务。于是自定义一个consumer，将打点数据已日志的方式通过logstash落