探究服务器Shard设置细节，揭秘SA-East服务器的配置奥秘

服务器Shard设置详解

1、协调节点（coordinating node）会将请求广播到涉及到的各个分片（shards），每个分片在内部执行搜索请求，并将结果存储到一个大小为from+size的内部优先级队列中，可以将这个优先级队列视为一个包含topN结果的列表。

2、需要注意的是，为了实现高可用性，每个主分片（primary shard）都会有一个对应的备分片（replica shard），主分片和备分片不能存放在同一台服务器上，主分片可以与其它副本分片（replica shards）存放在同一个节点上，数据路由（document routing）指的是当客户端发起创建文档的请求时，Elasticsearch需要确定这个文档应该存放在该索引的哪个分片上。

3、配置服务器（config server）负责存储元数据，例如分片配置，并与mongos保持同步，多个配置服务器确保了数据冗余，分片（shard）负责处理部分数据，以应对海量数据负载，每个分片可以分散大量的负载，副本集（replica set）在分片节点中用于确保数据可靠性，生产环境中通常包括两个副本和一个仲裁节点。

4、配置服务器是集群的元数据仓库，存储着各个分片的路由规则，使得Mongos能够根据查询条件智能地将请求导向正确的数据片，配置服务器的设计目的是存储所有元数据，避免了Mongos对数据的持久化处理，使其能够专注于路由和负载均衡的任务。

ES集群原理与搭建指南

1、Elasticsearch集群由多个节点组成，其中有一个被选举为主节点，主节点负责集群内部的管理任务，Elasticsearch的去中心化概念意味着集群外部没有中心节点，从外部看，整个集群在逻辑上是一个整体，与任何一个节点的通信都与与整个集群通信等效。

2、Elasticsearch搜索引擎的原理包括：一个由13个节点组成的集群，根据不同的通道创建了20+个索引，这些索引根据日期每日递增，每个索引包含10个分片，每天处理超过1亿条数据，每个通道的索引大小得到有效控制。

3、Elasticsearch集群由一个或多个安装了节点的服务器组成，它们共享数据并提供搜索服务，集群通过一个唯一的名称进行标识，默认名称为“elasticsearch”，节点状态分为绿色（健康）、 *** （警告）和红色（故障），集群名称可以在config/elasticsearch.yml中配置，`cluster.name: [自定义名称]`。

MongoDB分片（Shard）原理深入解析

1、数据块划分的区间依据是根据片键的取值范围，这种方法在范围查询时效率很高，因为给定一个查询范围后，可以根据mongos中的映射表快速定位到分片上的数据块。

2、分片机制详细解读：分片将数据库切割成小块，分散到多台服务器（shard）上，通过mongos进行请求分发和路由，简化了应用层面的路由，关键组件包括：mongos（请求分发中心）、config server（存储元数据）等。

3、MongoDB中的Shard概念是为了方便服务器分片使用的，每增加一台Shard，MongoDB的插入性能几乎以倍数增长，同时磁盘容量也可以轻松扩充，MongoDB还自带了对map-reduce运算框架的支持，方便进行数据统计。

4、当日志服务节点增多时，为了确保可扩展的日志写入能力和海量存储能力，需要使用MongoDB sharding来扩展，将日志数据分散存储到多个shard，选择合适的shard key是关键。

5、我在这里执行了从原单机数据库导出数据后，再导入到分片集群库的操作，在设置了分片的数据库和表后，系统会自动创建数据库和表，设置完成后，即可开始导入数据。

【超详细】MongoDB集群搭建手把手教程

1、为了使用Studio 3T连接MongoDB Atlas，首先需要注册MongoDB Atlas的免费空间，并访问官网注册账号，注册成功后，创建一个组织并添加项目，创建一个集群，并保存账户和密码，创建成功后，点击“connect”，添加IP白名单，或选择“Allow Access from Anywhere”简化操作，复制链接以备后用。

2、以下是配置文件模板：mongod.conf.mongos.j2（mongos配置文件模板）、mongod.conf.normal.j2（shard server和config server配置文件模板）、mongod.service.j2（service文件模板）和mongo.key（用于MongoDB集群之间加密连接的手动生成文件）。

3、MongoDB在分片集群中的数据管理机制采用分片(chunk)与balancer策略，以实现高效的数据分布与迁移，在分片模式下，数据通过哈希分片算法分散至不同的分片中，每个分片负责特定的数据范围。

实战解决ElasticSearch深度分页问题

1、深度分页问题源于ES的分布式特性，数据根据相关度评分排序，而不是预先按照查询需求排序，查询成绩在10001至10100的100名考生信息时，需要在每个分片上执行排序并合并，这在处理大量数据时会导致大量内存消耗。

2、分页方式的性能、优点、缺点和适用场景如下：from + size方式灵活性较好，实现简单，但存在深度分页问题，适用于数据量较小的情况；scroll方式解决了深度分页问题，但不能反映数据的实时性，维护成本高，适用于海量数据导出；search_after方式无深度分页问题，能反映数据实时变更，但实现复杂。

3、Elasticsearch是一个实时的分布式搜索与分析引擎，在使用过程中，应避免使用深度分页，以免造成资源浪费和性能下降。

4、对于向前翻页，ES没有直接支持的API，但根据 *** 文档（https://github.com/elastic/elasticsearch/issues/29449），可以通过翻转排序方式实现，Scroll和search_after原理基本相同，都采用游标方式进行深分页，能够在一定程度上解决深度分页问题。