千万级数据平台优化实践

发布时间：2022-10-12 11:27:34 所属栏目：Unix 来源：

导读：　　作者公司在国内维护某平台，主分类信息业务，5万商家，上千万数据，日访问量5W+。建设初期，我们选择mysql , postgre多种数据库，作过分布式，负载均衡等优化，近期投向Elasticsearchunix数据库，压测，上线运营

　　作者公司在国内维护某平台，主分类信息业务，5万商家，上千万数据，日访问量5W+。建设初期，我们选择mysql , postgre多种数据库，作过分布式，负载均衡等优化，近期投向Elasticsearchunix数据库，压测，上线运营后，效果明显，同时验证一句古言：大道至简。

　　ElasticSearch 创办于 2012 年，以 ElasticSearch 的搜索开源产品知名。Elasticsearch帮助企业搜索庞大的非结构化信息数据库。通过使用机器学习，自动识别异常情况，执行根本原因分析，并减少实时应用的误报。目前，ElasticSearch拥有5000个客户，覆盖80多个国家。使用该产品的知名公司包括：思科、eBay、高盛、美国国家宇航局、微软、维基媒体基金会、三星电子和韦里逊等。 2018年Elasticsearch 公司上市，市值近 50 亿美元，同年财年营收1.6亿美元。其中93%来自于订阅费。

　　提到数据库，第一个想到的公司，一般都会是Oracle(甲骨文)，成立于1977年，最初是一家专门开发数据库的公司。SQL Server是由微软开发的数据库管理系统，已广泛用于电子商务、银行、保险、电力等与数据库有关的行业。1984年，Mark B. Hiffman和Robert Epstern创建的Sybase公司，1987年推出了Sybase数据库产品，对UNIX操作系统，目前应用最广泛的是SYBASE 10及SYABSE 11 for SCO UNIX，还有DB2等，多年迭代，各数据库厂商产品性能越来越完善。

　　应用和数据库平时怎么工作的？

　　一般来说，java应用程序访问数据库的过程是：

　　装载数据库驱动程序 ->通过jdbc建立数据库连接->访问数据库，执行sql语句->断开数据库连接。

　　程序开发过程中，存在很多问题：首先，每一次web请求都要建立一次数据库连接。建立连接是一个费时的活动，而且系统还要分配内存资源。这个时间对于一次或几次数据库操作，感觉不出系统有多大的开销。可是对于现在的大型电子商务网站，同时有几千人在线，频繁的进行数据库连接，断开、查询操作势必占用很多的系统资源，网站的响应速度下降，甚至服务器崩溃，这是制约某些电子商务网站发展的技术瓶颈问题。

　　“数据库连接”是一种稀缺的资源，连接池一定程度上改善了性能。

　　连接池要考虑更多的问题

　　1、并发问题

　　2、多数据库服务器和多用户

　　3、事务处理

　　4、连接池的分配与释放

　　5、连接池的配置与维护

　　1、在Elasticsearch中，文档归属于一种类型(type) ,而这些类型存在于索引(index)中，类比传统关系型数据库：

　　Relational DB -> Databases -> Tables -> Rows -> Columns

　　关系型数据库数据库表行列

　　Elasticsearch -> Indices -> Types -> Documents -> Fields

　　Elasticsearch索引类型文档域（字段）

　　Elasticsearch没有典型意义的事务，是一种面向文档的数据库，也没有提供授权和认证特性。

　　传统数据库为特定列增加一个索引，例如B-Tree索引来加速检索。Elasticsearch和Lucene使用一种叫做倒排索引(inverted index)的数据结构来达到相同目的。

　　Elasticsearch中的概念与关系型数据库对比。

　　Relational DB ? Databases ? Tables ? Rows? Columns

　　关系型数据库数据库表行列

　　Elasticsearch ? Indices? Types ? Documents ? Fields

　　Els索引类型文档域（字段）

　　2、在Elasticsearch中，所有的字段缺省都建了索引。也就是说每一个字段都有一个倒排索引，用于快速查询。

　　3、es支持http协议（json格式）（9200端口）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。传统关系型数据库不支持。

　　4、es支持分片和复制，从而方便水平分割和扩展，复制保证了es的高可用与高吞吐。

　　Elasticsearch是存在电脑硬盘的wiki，开箱即用，省掉各种治理，调度，安全设置操作，效率大有提升。

（编辑：我爱资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!