centos7 搭建elk日志系统

安装elasticsearch 6.0.0

1.下载和配置相应的elasticsearch文件

# 进入到 cd /opt 下 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.zip unzip elasticsearch-6.0.0.zip cd elasticsearch-6.0.0/

2.添加普通用户

# 在linux环境中,elasticsearch不允许以root权限运行,这里创建一个elk用户 groupadd elk # 创建用户组elk useradd elk -g elk -s /bin/bash # 创建新用户elk，-g elk 设置其用户组为 elk，-p elk 设置其密码为elk chown -R elk.elk /opt # 更改 /opt 文件夹及内部文件的所属用户及组为 elk:elk # vim config/elasticsearch.yml network.host: 0.0.0.0 http.port: 9200 path.logs: /opt/elasticsearch-6.0.0/logs path.data: /opt/elasticsearch-6.0.0/data action.destructive_requires_name: true # 允许跨域访问 http.cors.enabled: true http.cors.allow-origin: "*"

3.修改分配的jvm空间大小,修改系统配置,启动服务

参考我之前写的 centos7安装elasticsearch-7.0.1伪集群

安装logstash 6.0.0

1.下载和配置相应的logstash 文件

# 进入到opt目录下 cd /opt wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz tar -xzvf logstash-6.0.0.tar.gz # 进入到logstash-6.0.0 目录下 cd /opt/logstash-6.0.0 # 新建一个配置文件 touch config/python-logstash.conf # 编辑配置文件 vim config/python-logstash.conf # 配置文件的内容如下 input { udp { port => 5959 #udp的端口 codec => json#输入的格式为json格式 } } # 过滤字段 filter{ mutate{ remove_field => ["@version"] remove_field => ["@timestamp"] } } output { elasticsearch { hosts => ["192.168.18.133:9200"] #es的地址 index => "python-message-%{+YYYY.MM.dd}" #存入到es的索引名 } stdout { codec => rubydebug #codec => json } # 输出到kafka kafka { codec => json topic_id => "mytopic" # 组的id bootstrap_servers => "10.211.55.3:29092" # kafka所在的ip:port } }

2.下载和配置相应的logstash 文件

# 检查配置文件是否正确 /opt/logstash-6.0.0/bin/logstash -t -f /opt/logstash-6.0.0/config/python-logstash.conf 启动： /opt/logstash-6.0.0/bin/logstash -f /opt/logstash-6.0.0/config/python-logstash.conf 加载本文件夹所有配置文件启动： /opt/logstash-6.0.0/bin/logstash -f /opt/logstash-6.0.0/config/python-logstash.conf 或后台启动： nohup /opt/logstash-6.0.0/bin/logstash -f config/python-logstash.conf &

安装kibana

# 进入到opt目录 cd /opt wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm yum install -y kibana-6.0.0-x86_64.rpm # 修改配置文件 vim /etc/kibana/kibana.yml server.port: 5601 //监听端口 # server.host: "0.0.0.0" server.host: "10.211.55.3" //监听IP地址，建议内网ip elasticsearch.url: "http://10.211.55.3:9200" //elasticsearch连接kibana的URL，也可以填写10.211.55.3，因为它们是一个集群 # .启动服务 systemctl enable kibana systemctl start kibana # .验证 ss -antlup | grep 5601 # -*- coding: utf-8 -*- # @Time : 2019/3/18 9:45 # @Author : """ """ import logging import logstash import sys class Logstash(object): def __init__(self, host='192.168.18.133', console_name='article', port=5959, version=1): # 输出的日志的名称 self.host = host self.console_name = console_name self.port = port self.version = version self.spider_logger = self.init() def init(self): spider_logger = logging.getLogger(self.console_name) spider_logger.setLevel(logging.INFO) spider_logger.addHandler(logstash.LogstashHandler(self.host, self.port, version=self.version)) return spider_logger def level(self,message='', level='info'): """设置日志等级""" if not message: raise Exception("please input your message") if level == 'error': self.spider_logger.error(message) elif level == 'info': self.spider_logger.info(message) else: self.spider_logger.warning(message) def extra(self, extra=None): """额外输出信息""" # add extra field to logstash message if not extra: extra = { 'test_string': 'python version: ' + repr(sys.version_info), 'test_boolean': True, 'test_dict': {'a': 1, 'b': 'c'}, 'test_float': 1.23, 'test_integer': 123, 'test_list': [1, 2, '3'], } self.spider_logger.info('python-logstash: test extra fields', extra=extra) if __name__ == '__main__': lgs = Logstash() lgs.level(message='hello')

在kibana中 在logstash中 参考 https://www.jianshu.com/p/cb510f55e318 参考 https://www.jianshu.com/p/1bffca69ac1a 参考 https://blog.51cto.com/kexiaoke/1952969 参考 https://www.cnblogs.com/lovelinux199075/p/9101631.html