项目描述:项目职责:
部署es集群,配合使用filebeat与logstash收集日志,通过kafaka消息队列的方式筛选信息,使用kibana可视化工具管理收集的日志信息,最后确保管理人员能够使用nginx地址转发到指定IP+端口+密码登录并管理日志信息的页面。
所需工具:
Logstash(收集、处理和转发数据,配合filebeat)-kafka(产生消息队列,提高数据收集效率)-kibana(可视化和探索Elasticsearch中的数据)-es(用于存储、搜索和分析数据)集群
项目成果:
1.部署elk中的es集群(6台服务器构成es集群),保证其能够稳定运行且提高每台服务器的使用效率。
2.管理分析kibana可视化工具收集的数据,利用可视化界面管理且筛选有价值的数据去留情况。
3.调整各种工具的配置参数,减少整个服务维护13%的成本。
4.使用nginx的地址转发功能,提供客户较为友好的访问方式,提高超过50名客户的体验度。