elasticsearch 配置文件

elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。  配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。  Java代码   cluster.name: elasticsearch   节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。  Java代码   node.name: "Franz Kafka"   指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。  Java代码   node.master: true   指定该节点是否存储索引数据，默认为true。  Java代码   node.data: true   设置默认索引分片个数，默认为5片。  Java代码   index.number_of_shards: 5   设置默认索引副本个数，默认为1个副本。  Java代码   index.number_of_replicas: 1   设置配置文件的存储路径，默认是es根目录下的config文件夹。  Java代码   path.conf: /path/to/conf   设置索引数据的存储路径，默认是es根目录下的data文件夹  Java代码   path.data: /path/to/data   可以设置多个存储路径，用逗号隔开，例：  Java代码   path.data: /path/to/data1,/path/to/data2   设置临时文件的存储路径，默认是es根目录下的work文件夹。  Java代码   path.work: /path/to/work   设置日志文件的存储路径，默认是es根目录下的logs文件夹  Java代码   path.logs: /path/to/logs   设置插件的存放路径，默认是es根目录下的plugins文件夹  Java代码   path.plugins: /path/to/plugins   强制所有内存锁定，不要搞什么swap的来影响性能  设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，linux下可以通过`ulimit -l unlimited`命令。  Java代码   bootstrap.mlockall: true   设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。  Java代码   network.bind_host: 192.168.0.1   设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。  Java代码   network.publish_host: 192.168.0.1   这个参数是用来同时设置bind_host和publish_host上面两个参数。  Java代码   network.host: 192.168.0.1   设置节点间交互的tcp端口，默认是9300。  Java代码   transport.tcp.port: 9300   设置是否压缩tcp传输时的数据，默认为false，不压缩。  Java代码   transport.tcp.compress: true   设置对外服务的http端口，默认为9200。  Java代码   http.port: 9200   设置内容的最大容量，默认100mb  Java代码   http.max_content_length: 100mb   是否使用http协议对外提供服务，默认为true，开启。  Java代码   http.enabled: false   网络配置  Java代码   #network.tcp.keep_alive : true   #network.tcp.send_buffer_size : 8192   #network.tcp.receive_buffer_size : 8192   自动发现相关配置  Java代码   #discovery.zen.fd.connect_on_network_disconnect : true   #discovery.zen.initial_ping_timeout : 10s   #discovery.zen.fd.ping_interval : 2s   #discovery.zen.fd.ping_retries  : 10   The gateway snapshot interval (only applies to shared gateways).  Java代码   #index.gateway.snapshot_interval : 1s   分片异步刷新时间间隔  Java代码   #index.refresh_interval : -1   Set to an actual value (like 0-all) or false to disable it.  Java代码   index.auto_expand_replicas   Set to true to have the index read only. false to allow writes and metadata changes.  Java代码   index.blocks.read_only   Set to true to disable read operations against the index.  Java代码   index.blocks.read   Set to true to disable write operations against the index.  Java代码   index.blocks.write   Set to true to disable metadata operations against the index.  Java代码   index.blocks.metadata   Lucene index term间隔，仅用于新创建的doc  Java代码   index.term_index_interval   Lucene reader term index divisor  Java代码   index.term_index_divisor   When to flush based on operations.  Java代码   index.translog.flush_threshold_ops   When to flush based on translog (bytes) size.  Java代码   index.translog.flush_threshold_size   When to flush based on a period of not flushing.  Java代码   index.translog.flush_threshold_period   Disables flushing. Note, should be set for a short interval and then enabled.  Java代码   index.translog.disable_flush   The maximum size of filter cache (per segment in shard). Set to -1 to disable.  Java代码   index.cache.filter.max_size   The expire after access time for filter cache. Set to -1 to disable.  Java代码   index.cache.filter.expire   merge policy  All the settings for the merge policy currently configured. A different merge policy can’t be set.  A node matching any rule will be allowed to host shards from the index.  Java代码   index.routing.allocation.include.*   A node matching any rule will NOT be allowed to host shards from the index. Java代码   index.routing.allocation.exclude.*   Only nodes matching all rules will be allowed to host shards from the index. Java代码   index.routing.allocation.require.*   Controls the total number of shards allowed to be allocated on a single node. Defaults to unbounded (-1).  Java代码   index.routing.allocation.total_shards_per_node   When using local gateway a particular shard is recovered only if there can be allocated quorum shards in the cluster. It can be set to quorum (default), quorum-1 (or half), full and full-1. Number values are also supported, e.g. 1.  Java代码   index.recovery.initial_shards   Disables temporarily the purge of expired docs.  Java代码   index.ttl.disable_purge   默认索引合并因子  Java代码   #index.merge.policy.merge_factor : 100   #index.merge.policy.min_merge_docs : 1000   #index.merge.policy.use_compound_file : true   #indices.memory.index_buffer_size : 5%   Gateway相关配置  当集群期望节点达不到的时候，集群就会处于block，无法正常索引和查询，说明集群中某个节点未能正常启动，这正是我们期望的效果，block住，避免照成数据的不一致。  gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。  Java代码   gateway.type: local   设置集群中N个节点启动时进行数据恢复，默认为1。  Java代码   gateway.recover_after_nodes: 1   设置初始化数据恢复进程的超时时间，默认是5分钟。  Java代码   gateway.recover_after_time: 5m   设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。  Java代码   gateway.expected_nodes: 2   初始化数据恢复时，并发恢复线程的个数，默认为4。  Java代码   cluster.routing.allocation.node_initial_primaries_recoveries: 4   添加删除节点或负载均衡时并发恢复线程的个数，默认为4。  Java代码   cluster.routing.allocation.node_concurrent_recoveries: 2   设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。  Java代码   indices.recovery.max_size_per_sec: 0   设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。  Java代码   indices.recovery.concurrent_streams: 5   设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）。  Java代码   discovery.zen.minimum_master_nodes: 1   设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。  Java代码   discovery.zen.ping.timeout: 3s   Java代码   discovery.zen.ping.multicast.enabled: false   设置是否打开多播发现节点，默认是true。  当禁用multcast广播的时候，可以手动设置集群的节点ip  设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。  Java代码   discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]   下面是一些查询时的慢日志参数设置  Java代码   index.search.slowlog.level: TRACE   index.search.slowlog.threshold.query.warn: 10s   index.search.slowlog.threshold.query.info: 5s   index.search.slowlog.threshold.query.debug: 2s   index.search.slowlog.threshold.query.trace: 500ms      index.search.slowlog.threshold.fetch.warn: 1s   index.search.slowlog.threshold.fetch.info: 800ms   index.search.slowlog.threshold.fetch.debug:500ms   index.search.slowlog.threshold.fetch.trace: 200ms   1.设置cache大小和过期时间。     Java代码   index.cache.field.max_size      index.cache.field.expire   例如设置：    //index中每个segment中可包含的最大的entries数目    Java代码   index.cache.field.max_size: 50000      //过期时间为10分钟    Java代码   index.cache.field.expire: 10m    2.改变cache类型。  Java代码   index.cache.field.type: soft   默认类型为resident， 字面意思是常驻（居民）， 一直增加，直到内存 耗尽。 改为soft就是当内存不足的时候，先clear掉 占用的，然后再往内存中放。设置为soft后，相当于设置成了相对的内存大小。resident的话，除非内存够大。  3.对数据进行处理。  文章中提到的是减小字段值长度，如将大写转成小写。  这点上，实际中可能将数据精炼。当然， 也可以把要做facet的字段做一个转化，用int型代替。  关于string转化int呢， 可以参考M大神的: https://github.com/medcl/elasticsearch-analysis-string2int 相关资源：python入门教程(PDF版)