elasticsearch相关配置
为了能调整我们应用的性能,可能我们必须要对elasticsearch的配置文件做一些相关配置以达到我们需要的.
在linux系统上,elasticsearch默认使用hybrid mmapfs / niofs来存储索引文件,因此操作系统主要会通过mmap来限制存储的空间,因此如果存储空间满了,那么会抛出异常,我们可以使用如下命令来更改设置
sysctl -w vm.max_map_count=262144
当然我们还可以修改/etc/sysctl.conf配置文件修改上述参数
注意在linux下我们一般会设置swap,但是设置swap会对elasticsearch的node性能产生影响,因此建议把swap关闭.
第二种方案也可以设置sysctl.conf中vm.swappiness需要设置为1
第三种方案可以在elasticsearch.yml配置文件修改bootstrap.mlockall:true
设置完之后,我们可以使用如下命令,查看bootstrap.mlockall是否生效
curl http://localhost:9200/_nodes/process?pretty
2.配置elasticsearch
2.1在elasticsearch.yml中我们可以设置
path: logs:/var/logs/elasticsearch data:/var/data/elasticsearch plugins:/var/data/plugins conf:/etc/conf
因此我们可以看出我们将日志输出到/var/logs/elasticsearch,将索引数据保存在/var/data/elasticsearch目录下,插件加载的位置设置为/var/data/plugins,配置文件放置位置设置为/etc/conf。
当然我们还能直接path.logs:/var/logs/elasticsearch这样配置
2.2配置集群名称,节点名称
cluster: name:mycluster
node: name:mynode
上述设置了集群名称为mycluster,当前elasticsearch的节点名称为mynode
2.3设置索引存储方式
index: store: type:memory
在这里我们设置ile索引的存储方式是内存,其实这样设置在yml文件中不是一个很好的配置,因为配置后,会对之后我们创建的所有索引都会以memory来存储,因此最好的设置是使用http接口对指定的数据库进行配置
比如:
$ curl -XPUT http://localhost:9200/kimchy/ -d \ ' index : store: type: memory '
也就是对数据库kimchy设置存储方式为memory。
3.配置http接口的数据操作。
3.1一般我们会通过http接口api形式对索引数据进行crud操作,这个时候我们要配置elasticsearch.yml中的http模块。
http.enabled:true
其他相关配置参数
http.port | http绑定端口,默认可以设置9200-9300这个范围 |
http.bind_host | 绑定的http服务的域名。默认跟http.host或者network.bind_host一样 |
http.publish_host | 客户端访问的http地址,默认和http.host或network.publish_host一致 |
http.host | 用来设置http.bind_host和http.publish_host |
http.max_content_length | http请求的最大内容大小 |
http.max_initial_line_length | http地址访问url的最大长度,默认为4kb |
http.compression | 是否支持压缩 (用 Accept-Encoding). 默认为false |
http.compression_level | 定义压缩级别,默认为6 |
http.cors.enabled | 是否支持跨域,默认为false |
http.cors.allow-origin | 当设置允许跨域,默认为*,表示支持所有域名,如果我们只是允许某些网站能访问,那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/ |
http.cors.max-age | 浏览器发送一个“预检”OPTIONS请求,以确定CORS设置。最大年龄定义多久的结果应该缓存。默认为1728000(20天) |
http.cors.allow-methods | 允许跨域的请求方式,默认OPTIONS,HEAD,GET,POST,PUT,DELETE |
http.cors.allow-headers | 跨域允许设置的头信息,默认为X-Requested-With,Content-Type,Content-Length |
http.cors.allow-credentials | 是否返回设置的跨域Access-Control-Allow-Credentials头,如果设置为true,那么会返回给客户端。 |
http.pipelining | 是否打开HTTP管线化, 默认为true |
http.pipelining.max_events | 事件的最大数量被排队在存储器之前一个HTTP连接被关闭时,默认为10000。 |
4.设置索引缓冲区
elasticsearch在处理索引的时候会存在一个索引缓冲buffer,我们可以为其设置需要分配的缓冲buffer内存大小,索这是一个全局设置。
indices.memory.index_buffer_size | 接受任何百分比或字节大小值。其默认值为10%,这意味着分配给一个节点的总存储器的10%将被用作索引的缓冲区大小。如果百分比被使用时,也能够设定min_index_buffer_size和max_index_buffer_size |
min_index_buffer_size | (默认为48MB) |
max_index_buffer_size | (默认为无界)。 |
indices.memory.index_buffer_size | 允许设置为每分片分配给它自己的索引缓冲存储器中的下限。它默认为4MB。 |
indices.ttl.interval | 允许设置多久过期的文件会被自动删除。默认值是60s。 |
indices.ttl.bulk_size | 设置批量处理的命令大小。默认值是10000。 |
5.设置管理recovery的策略:
indices.recovery.concurrent_streams | 默认是3 |
indices.recovery.file_chunk_size | 默认512kb |
indices.recovery.translog_ops | 默认1000 |
indices.recovery.translog_size | 默认true |
indices.recovery.compress | 默认512kb |
indices.recovery.max_bytes_per_sec | 默认20mb |
indices.recovery.max_size_per_sec | 0.90.1去掉,用indices.recovery.max_bytes_per_sec代替 |
6.设置对存储进行限流:
indices.store.throttle.type | 可以是merge (默认), not或者all |
indices.store.throttle.max_bytes_per_sec | 默认20mb |
7.network设置
一个节点的多个模块都用到了网络基本配置,例如transport模块和HTTP模块。 节点级别的网络配置可以用来设置所有基于网络的模块的通用配置(除了被每个模块明确覆盖的那些配置项)。
network.bind_host用来设置绑定的ip地址, 默认绑定anyLocalAddress (0.0.0.0或者::0)。
network.publish_host配置其他节点和本节点通信的地址。 这个当然不能是anyLocalAddress, 默认是第一个非回环地址或者本机地址。
network.host设置是一个简化设置, 它自动设置network.bind_host和network.publish_host为同一个值。
两个设置都可以配置为主机ip地址或者主机名, 还可以设置为下表中列出来的值。
local | 本机ip地址 |
_non_loopback_ | 第一个非loopback地址 |
_non_loopback:ipv4_ | 第一个非loopback的ipv4地址 |
_non_loopback:ipv6_ | 第一个非loopback的ipv6地址 |
[networkInterface] | 指定网卡的IP地址. 例如 en0 |
[networkInterface]:ipv4 | 指定网卡的IPv4地址. 例如 en0:ipv4 |
[networkInterface]:ipv6 | 指定网卡的IPv6地址. 例如 en0:ipv6 |
_non_loopback:ipv6_ | 第一个非loopback的ipv6地址 |
8.cloud-aws
如果安装了cloud-aws插件, 下表列出来值也是有效的设置:
ec2:privateIpv4 | The private IP address (ipv4) of the machine |
ec2:privateDns | The private host of the machines |
ec2:publicIpv4 | The public IP address (ipv4) of the machine |
ec2:publicDns | The public host of the machines |
ec2 | Less verbose option for the private ip address |
ec2:privateIp | Less verbose option for the private ip address |
ec2:publicIp | Less verbose option for the public ip address |
9.tcp设置
任何使用TCP的组件 (比如HTTP, Transport和Memcached)共享下面的设置:
network.tcp.no_delay | 启用或禁用tcp no delay。 默认是true. |
network.tcp.keep_alive | 启用或禁用tcp keep alive。 默认不设置 |
network.tcp.reuse_address | 地址是否应该被重用,在非windows的机器上默认是true |
network.tcp.send_buffer_size | tcp发送缓冲区的大小。 默认不设置 |
network.tcp.receive_buffer_size | tcp接收缓冲区的大小。 默认不设置 |