自动化部署elasticsearch三节点集群

news/2024/11/12 20:23:01

什么是Elasticsearch?

Elasticsearch 是一个开源的分布式搜索和分析引擎,构建在 Apache Lucene 的基础上。它提供了一个分布式多租户的全文搜索引擎,具有实时分析功能。Elasticsearch 最初是用于构建全文搜索引擎,但它的功能已经扩展到包括日志分析、应用程序性能监控、地理信息系统等领域。

以下是 Elasticsearch 的一些主要特点和用途:

  1. 全文搜索:Elasticsearch 提供强大的全文搜索功能,可以快速搜索大量文档并返回相关性高的结果。

  2. 分布式:Elasticsearch 是一个分布式系统,可以水平扩展到数百台服务器,处理大规模的数据集。

  3. 实时性:Elasticsearch 提供实时搜索和分析功能,可以在数据被索引之后立即可用。

  4. 多功能:除了全文搜索之外,Elasticsearch 还提供了聚合、过滤、地理位置搜索、自定义标记、实时分析等功能。

  5. 可扩展性:Elasticsearch 可以通过插件扩展功能,满足不同场景的需求。

  6. 易用性:Elasticsearch 提供了简单的 RESTful API,易于集成到各种应用程序中,并提供了丰富的客户端库。

  7. 日志分析:Elasticsearch 通常与 Logstash 和 Kibana(称为 ELK 栈)一起使用,用于实时日志分析和可视化。

  8. 应用程序性能监控:Elasticsearch 还可以用于监控应用程序性能,收集和分析指标数据

 

Elasticsearch的应用场景?

Elasticsearch 的应用场景非常广泛,以下是一些常见的应用场景:

  1. 全文搜索引擎:Elasticsearch 提供了强大的全文搜索功能,可以用于构建各种类型的搜索引擎,包括网站搜索、文档搜索、产品搜索等。

  2. 日志和事件分析:Elasticsearch 可以用于实时收集、存储和分析大量的日志和事件数据。它与 Logstash 和 Kibana 一起组成 ELK 栈,用于实时日志分析和可视化。

  3. 指标和性能监控:Elasticsearch 可以用于收集和分析应用程序和系统的性能指标,帮助开发人员和运维团队监控应用程序的健康状况,并快速定位问题。

  4. 内容推荐:基于用户行为和内容特征,Elasticsearch 可以用于实现个性化的内容推荐系统,提供用户喜好的文章、产品或媒体。

  5. 电商搜索和推荐:在电商网站中,Elasticsearch 可以用于实现快速、准确的产品搜索,以及基于用户行为的个性化推荐。

 

Elasticsearch 的架构设计主要涉及以下几个方面:

1. 分布式架构

Elasticsearch 是一个分布式系统,可以水平扩展到多个节点,处理大规模的数据集。它将索引分成多个分片(shard),每个分片可以分布在集群中的不同节点上,从而实现数据的分布式存储和处理。此外,Elasticsearch 还支持副本(replica),用于提高数据的可靠性和可用性。

2. 节点角色

在 Elasticsearch 集群中,每个节点可以担任不同的角色:

  • 主节点(Master Node):负责集群的管理和协调,包括创建和删除索引、分配分片、故障检测和节点加入/退出等操作。

  • 数据节点(Data Node):存储数据的节点,负责索引和搜索数据。每个数据节点都保存部分数据分片,并处理搜索请求和索引请求。

  • 协调节点(Coordinating Node):处理客户端请求的节点,负责路由请求到适当的数据节点,并将结果汇总返回给客户端。

3. 索引和分片

数据在 Elasticsearch 中存储在索引(Index)中,每个索引可以分成多个分片。索引是逻辑上的数据集合,分片是数据的物理存储单元。分片可以水平扩展到多个节点上,实现数据的分布式存储和并行处理。

4. 倒排索引

Elasticsearch 使用倒排索引(Inverted Index)来加速搜索操作。倒排索引是一种数据结构,可以快速地找到包含特定词条的文档。对于每个词条,倒排索引会记录该词条出现在哪些文档中,以及在文档中的位置信息。

5. RESTful API

Elasticsearch 提供了基于 HTTP 的 RESTful API,使用户可以使用简单的 HTTP 请求与 Elasticsearch 进行交互。通过 RESTful API,用户可以执行索引、搜索、聚合、删除等操作,以及管理集群和节点。

6. 插件机制

Elasticsearch 提供了丰富的插件机制,允许用户扩展和定制其功能。用户可以编写自定义插件,添加新的功能或改进现有功能,例如添加新的分析器、查询语法、存储后端等。

 

自动化部署

  部署之前准备必要的jdk,安装包已经打包好了再网盘里面


链接:https://pan.baidu.com/s/1Kfntr0B-vJNIs25ZgqwCdA
提取码:4fsf

  到服务器进行解压

tar -zxvf elaticsearch.tar.gz
将下载下来的传到要部署的节点执行
bash -x deploy_elaticsearch.sh ip1 ip2 ip3 1

  其中脚本内容如下所示

 

#!/bin/bash

# 创建esadmin用户,并设置密码
useradd esadmin && echo "esadmin:Ebupt#202401f" | chpasswd

# 创建安装目录并解压Elasticsearch
mkdir -p /opt/elasticsearch/
tar -zxvf elasticsearch-7.15.1-linux-x86_64.tar.gz -C /opt/elasticsearch/

# 创建Elasticsearch数据、日志和仓库目录
mkdir -p /opt/elasticsearch/elasticsearch-7.15.1/es/{data,logs,repo}

# 备份旧的配置文件并写入新的配置文件
mv /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml.bak
cat <<EOF | sudo tee /opt/elasticsearch/elasticsearch-7.15.1/config/elasticsearch.yml > /dev/null
# 集群和节点配置
cluster.name: es-cluster
node.name: node-$4
node.master: true
node.data: true
node.ingest: true

# 网络和发现配置
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["$1", "$2", "$3"]
cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
discovery.zen.fd.ping_interval: 30s
discovery.zen.fd.ping_timeout: 120s
discovery.zen.fd.ping_retries: 6

# JVM调优
#bootstrap.memory_lock: true
#indices.memory.index_buffer_size: 50%

# 索引和搜索配置
#index.number_of_shards: 5
#index.number_of_replicas: 1
#indices.queries.cache.size: 20%

# 磁盘和文件系统配置
path.data: /opt/elasticsearch/elasticsearch-7.15.1/es/data
path.logs: /opt/elasticsearch/elasticsearch-7.15.1/es/logs
path.repo: /opt/elasticsearch/elasticsearch-7.15.1/es/repo

# 监控和性能调优
xpack.monitoring.enabled: true
thread_pool.search.size: 50
search.max_buckets: 10000

# HTTP跨域设置
http.cors.enabled: true
http.cors.allow-origin: "*"
EOF

# 设置Java参数
echo "-Xms3g" >> /opt/elasticsearch/elasticsearch-7.15.1/config/jvm.options
echo "-Xmx3g" >> /opt/elasticsearch/elasticsearch-7.15.1/config/jvm.options

# 内核优化
echo "esadmin soft nofile 65536" >> /etc/security/limits.conf
echo "esadmin hard nofile 131072c" >> /etc/security/limits.conf
echo "esadmin soft nproc 4096" >> /etc/security/limits.conf
echo "esadmin hard nproc 4096" >> /etc/security/limits.conf
echo "elasticsearch soft memlock unlimited" >> /etc/security/limits.conf
echo "elasticsearch hard memlock unlimited" >> /etc/security/limits.conf

# 查看当前ulimit配置
ulimit -a

#内核优化2
echo "vm.max_map_count=655360" >> /etc/sysctl.conf && sysctl -p

#修改目录权限
chmod -R esadmin /opt/elasticsearch

#添加es_java_home
cat << EOF | sudo tee -a /etc/profile
export ES_JAVA_HOME=/opt/elasticsearch/elasticsearch-7.15.1/jdk
EOF
source /etc/profile
# 使用esadmin用户启动Elasticsearch
su - esadmin -c "/opt/elasticsearch/elasticsearch-7.15.1/bin/elasticsearch -d"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hjln.cn/news/34203.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

我喜欢二次元

我喜欢二次元,因为我喜欢那个世界Tips:当你看到这个提示的时候,说明当前的文章是由原emlog博客系统搬迁至此的,文章发布时间已过于久远,编排和内容不一定完整,还请谅解` 我喜欢二次元 日期:2019-5-20 阿珏 二次元 浏览:7250次 评论:15条我喜欢二次元,是因为我喜欢那…

Linux中查看yum安装的jdk位置

Linux中查看yum安装的jdk位置 第一步 which指令会在环境变量$PATH设置的目录里查找符合条件的文件。 which java第二步 获取对应的环境名文件 /etc/alternatives/java [root@192 local]# ls -lr /usr/bin/java第三步 ls -lrt /etc/alternatives/java# t:将按照修改时间排序,最…

生活为什么总是对我动手?

睡衣出门取外卖,不想遇见熟人,偏偏被好多熟人看见;看电影时昏昏欲睡,中途上个厕所,就错过高光片段;在景区排队买票,Tips:当你看到这个提示的时候,说明当前的文章是由原emlog博客系统搬迁至此的,文章发布时间已过于久远,编排和内容不一定完整,还请谅解` 生活为什么总…

推进 OKR 目标管理落地的最佳实践

企业如何通过 Tita 推进 OKR 目标管理落地?本文将从 OKR 推进落地的四大阶段,来分别为大家介绍企业推进的全流程。这四个阶段分别是:OKR 实施准备阶段 OKR 制定阶段 OKR 执行推阶段 OKR 复盘阶段准备:OKR 实施准备阶段 OKR 实施准备阶段是开始部署和准备落地 OKR 的关键阶段…

如何优雅的提交一个表单

这是一个非常基础的HTML表单提交问题,但却是一个非常实用的技巧 我的业务场景是这样的:一个可动态创建input的表单,如下图Tips:当你看到这个提示的时候,说明当前的文章是由原emlog博客系统搬迁至此的,文章发布时间已过于久远,编排和内容不一定完整,还请谅解` 如何优雅的…

一些常见功能的查询sql

1、场景:查询一个选手的排名及距离上一名差多少票 方法二(去重排序查询比自己少的数量)Tips:当你看到这个提示的时候,说明当前的文章是由原emlog博客系统搬迁至此的,文章发布时间已过于久远,编排和内容不一定完整,还请谅解` 一些常见功能的查询sql 日期:2019-4-10 阿…

微信授权登录

微信的授权登录和QQ、新浪等平台的授权登录都大同小异,均采用 Oauth OAuth2.0鉴权方式。Tips:当你看到这个提示的时候,说明当前的文章是由原emlog博客系统搬迁至此的,文章发布时间已过于久远,编排和内容不一定完整,还请谅解` 微信授权登录 日期:2019-4-5 阿珏 折腾代码…

国产邪神手办开箱

“邪神”正是用于描述这些表情崩坏到离谱,细节不堪到令人发指的手办。 说起“邪神”,大家也许第一感觉就是“邪神四姐妹”,其实都是让人膜拜的存在,四大邪神的威名万世传扬,不仅可以辟邪,而且摆出来非常长脸有没有,杀人不见血的强大武器Tips:当你看到这个提示的时候,说…