大数据安全、安全数据可视化、数据驱动安全、安全态势感知，都是近年来越演愈烈的话题。这些工作，都离不开一个重要的因素，就是安全数据。

 

所谓安全数据，包含的内容非常多，最常见的就是日志文件。病毒样本、原始数据包、来自于社交网络的敏感信息，都能成为安全数据。

 

2010年出版的《Applied Security Visulization》一书中，还在介绍各种自动化分析日志的工具，某些工具甚至已经诞生了十几年之久，至今依然在更新。短短五年的时间，这些工具已经难以适应这个领域的变化了。

 

以前几天Elasticsearch大会上百度的演讲为例，一个大型的系统，每天一个TB的日志量并不罕见，新浪每天的日志量达到100TB，而淘宝每天的日志量可以打到1PB。传统的手工日志分析，或者简单的自动化分析在这样的数据量面前就显得很无力。