更新时间:2021-09-17 10:46:36 来源:极悦 浏览1535次
MyCAT为数据库中间件产品,支持mysql集群,提供高可用性数据分片集群。
分片简单来说,就是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果
数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。
(1)一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切分可以称之为数据的垂直(纵向)切分
(2)另外一种则是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上面,这种切分称之为数据的水平(横向)切分。
到官方下载
http://dl.mycat.io/1.6-RELEASE/
选择windows版的
Mycat-server-1.6-RELEASE-20161028204710-win.tar.gz
解压下载的压缩包,就安装在D:\server\mycat
接下类介绍mycat的使用规则,为了简单起见,就从分片使用最多的算法,一致性哈希算法说起
当我们需要将数据平均分在几个分区中,需要使用一致性hash规则
查看D:\server\mycat\conf\rule.xml
tableRule的name配置了使用的算法函数,函数也把它复制在下面
rule指定对id列进行分片,算法为murmur
<tableRule name="sharding-by-murmur">
<rule>
<columns>id</columns>
<algorithm>murmur</algorithm>
</rule>
</tableRule>
<function name="murmur"
class="io.mycat.route.function.PartitionByMurmurHash">
<property name="seed">0</property><!-- 默认是0 -->
<property name="count">3</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍 -->
<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替 -->
<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西 -->
</function>
接下来我们就使用该算法进行分片
在D:\server\mycat\conf\schema.xml中,为了清晰起见,把配置信息的意思注释在配置文件中
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!--逻辑数据库TESTDB-->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!--逻辑数据表tb_test-->
<!--rule="sharding-by-murmur" 使用随机拆分 -->
<table name="tb_test" dataNode="dn1,dn2,dn3"
rule="sharding-by-murmur" />
</schema>
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost1" database="db2" />
<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- host="hostM1" 物理数据库 -->
<writeHost host="hostM1" url="127.0.0.1:3306" user="root"
password="123">
</writeHost>
</dataHost>
</mycat:schema>
接下来配置中间件
在 D:\server\mycat\conf\server.xml中,配置连接mycat的用户密码
我们只需要连接mycat这个逻辑数据库即可,
<!--逻辑数据库的用户密码 端口为8066-->
<user name="root">
<property name="password">123</property>
<property name="schemas">TESTDB</property>
</user>
启动mycat
在cmdD:\server\mycat\bin\startup_nowrap.bat
出现 如下信息即为启动成功
接下来使用mysql客户端连接mycat
首先使用本地数据创建db1 db2 db3 三个数据库
创建表和数据脚本如下
CREATE TABLE tb_test (
id BIGINT(20) NOT NULL,
title VARCHAR(100) NOT NULL ,
PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8
INSERT INTO tb_test(ID,TITLE) VALUES(114,'goods1');
INSERT INTO tb_test(ID,TITLE) VALUES(225,'goods2');
INSERT INTO tb_test(ID,TITLE) VALUES(3524,'goods3');
INSERT INTO tb_test(ID,TITLE) VALUES(331,'goods1');
INSERT INTO tb_test(ID,TITLE) VALUES(215,'goods2');
INSERT INTO tb_test(ID,TITLE) VALUES(344,'goods3');
SELECT ID,TITLE FROM tb_test
运行sql脚本后,可以看到
逻辑数据库如下
物理数据库如下
查看db1,db2,db3各个物理数据库的记录如下
可以看到mycat已经帮我们进行了水平拆分,当数据量大时,各个数据库的行数就趋于相等。
想了解更多关于Mycat的相关知识,不妨来关注极悦Mycat教程,里面有更多的知识点供大家学习参考。在Java视频教程页面中也有相关配套视频可以免费下载学习,希望对大家能够有所帮助。
0基础 0学费 15天面授
Java就业班有基础 直达就业
业余时间 高薪转行
Java在职加薪班工作1~3年,加薪神器
工作3~5年,晋升架构
提交申请后,顾问老师会电话与您沟通安排学习