存储总量达20T的MySQL实例，如何完成迁移？

   <h2><strong>一、测试用例/过程</strong></h2>    <p>目前开发商上云（外部MySQL迁移到CDB）提供多种方案，其中开发商的MySQL实例有外网IP的可以直接使用腾讯云数据库迁移工具完成迁移（其他的迁移方法参见：https://www.qcloud.com/doc/product/236/591）。本次迁移任务中该开发商的所有MySQL实例均有外网代理IP供使用，故直接选用迁移工具完成数据导入。</p>    <p><strong>迁移工具的基本原理：</strong> 通过待迁移实例提供的高权限帐号获取源实例基本的MySQL实例配置，并同步到目标CDB实例；通过mysqldump直接将源实例导出传输到CDB实例后导入；源数据库实例和目标CDB建立主从关系同步新数据。其中CDB实例与源IDC之间通过NAT方式以一台带外网的服务器为中转发起通信。</p>    <h2> </h2>    <p>1 <strong>迁移工具基本功能</strong></p>    <h3><sub>在页面http://console.qcloud.com/migrate/migrate/cdb根据引导建立迁移任务；在后台管理页面观察迁移任务后台日志等CDB后台运维。</sub></h3>    <p>任务开始运行后检测代理机器流量变化，CDB的写入等数据展示：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/ad429957e2eb6efc456e2bfdc935a0f0.jpg"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/aff558f3ee6da7369e541ddd13cc03ed.jpg"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/ae262d927432f11492665da5c8b28f01.jpg"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/9fe09a32dfda91f1d8de794e7a20ebb8.jpg"></p>    <p><strong>知识点：如何为测试数据库产生较大的数据量。</strong> 这里推荐一个工具mysql_gen_data，https://github.com/chunhei2008/mysql_gen_data。产生测试数据并导入到MySQL的过程如下：</p>    <p><img src="https://simg.open-open.com/show/7f48f8e15bdb6336bcca772bfef52257.png"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/f97d078f3a100e86076728199a4bad0a.png"></p>    <p>后台与腾讯云管理台查看本次测试任务，迁移成功完成。</p>    <h2> </h2>    <h3><strong>2 主从以及从机和CDB建立主从的同步 </strong></h3>    <h3><sub>由于本次迁移的开发商将使用他们自建IDC的从机向CDB迁移数据，简单关系如下图，之前没有使用迁移工具进行过类似操作，故进行本次测试。</sub></h3>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/573df7a548ad908a545b966d5bf143ce.png"></p>    <p><strong>知识点</strong> <strong> ：如何配置MySQL的主从关系。 </strong> 测试的MySQL主从的配置如下：（主MySQL）</p>    <p>server_id = 98</p>    <p>log_bin = binlog</p>    <p>binlog_format = ROW</p>    <p>innodb_stats_on_metadata = off</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/d8aae43db90a94f9b2c6463c6d5479ce.png"> <img src="https://simg.open-open.com/show/4baa4587ba72ace2fc0b7bb533faf304.png"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/f2be12431a2ec054dfd263013cea39d3.png"></p>    <p>后台与腾讯云管理台查看本次测试任务，迁移成功完成。</p>    <h3>3 <strong>多实例+较大binlog并发同步</strong></h3>    <h3><sub>开发商在经过相关测试后，一期计划15个实例并发迁移到CDB，每天总共产生约100G的binlog。由于之前迁移工具没有大并发使用，且单日有较大数据更新，故提前测试用户场景。测试的基本架构如下图：在一个服务器上开启15个MySQL实例映射到不同端口，15个MySQL实例同时和15个CDB实例建立主从，并发起迁移任务</sub>。</h3>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/159325a0bed8b1e9d433fdf3511a71f6.jpg"></p>    <p><strong>知识点：如何在一台服务器上创建多个MySQL实例？</strong> 这里使用的MySQL自带的mysqld_multi工具，其实这只是一个perl脚本，开启多实例配置如下（/etc/my.conf）可以视内存大小，开多个mysqld的配置项：</p>    <p><img src="https://simg.open-open.com/show/f007ed170b65305d3195eee4c0fedb67.png"></p>    <p><img src="https://simg.open-open.com/show/edbc2f1973bd7803001bcff336de961a.png"></p>    <p><img src="https://simg.open-open.com/show/752c11fcee1bd9568429bf8c048b1e86.png"></p>    <p>然后使用mysqld_multi start 1-4启动配置项里面的对应数量实例即可。启动多个MySQL实例如图：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/ed4eb6ac3c96cd6b530a613f51df09a1.png"></p>    <p>通过定时update对应数据库实例的数据，产生较大量的binlog，单次update产生700Mbinlog，每2小时执行一次，每天产生700*12*15=126G.简单代码如下：</p>    <p><img src="https://simg.open-open.com/show/15f26df8ca02713381173173afff2966.png"></p>    <p>使用数据库迁移工具（http://console.qcloud.com/migrate/migrate/cdb）建立15个迁移任务，控制台和后台检查均迁移成功：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/7b08789e5c2d545fc99bfdab06826850.png"></p>    <p>同时为了检验大量binlog情况下数据完整性，写了简单脚本定时检查数据是否有更新，脚本如下：（这里经过测试发现可以通过广州跳板机直接连接CDB实例的masterIP，故直接在广州跳板机脚本拉取IDC更新数据，同时对比CDB实例数据，写入日志）</p>    <p><img src="https://simg.open-open.com/show/b3037e390239c211eca4e1af581ae758.png"></p>    <p><img src="https://simg.open-open.com/show/fa2f299b92614434ee290ee129d69de6.png"></p>    <p>通过校验日志可以看到，数据更新均成功完成。</p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/67c6c6334e6da100446c33657e2f1958.png"></p>    <p style="text-align:center"><img src="https://simg.open-open.com/show/c5d1461a9c095a70a7d27cb281a5daff.png" alt="存储总量达20T的MySQL实例，如何完成迁移？" width="465" height="260"></p>    <h2><strong>二、 开发商迁移测试数据记录</strong></h2>    <p>以上我方内部测试完成后，开发商自行进行了3次迁移，相关数据如下：</p>    <p> </p>    <p><img src="https://simg.open-open.com/show/3af798de06c89e33560abe98203a147f.png"></p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/c8af544a263d21a51067908ffd72fcb6.png"></p>    <p>某次迁移的带宽表现。</p>    <p>由于开发商出口带宽只有约500Mbps，经过测试发现迁移瓶颈主要出现在带宽限制上。实际并发时带宽大小待二期迁移时确认。</p>    <h2><strong>三、遇到的问题</strong></h2>    <h3><sub>1 <strong>首次创建主从无法连接源数据库</strong> </sub></h3>    <h3><sub>现象：每次建任务后总提示源数据库无法连接</sub></h3>    <p>Error:Can't connect to MySQL server on 10.*.*.*</p>    <p>分析解决：由于迁移工具本质是CDB代理经过NAT通过外网和IDCMySQL实例相连，CDB的代理系统时间和NAT外网机器有差异，同时IDC开启连接重用，导致建立连接时前后时间不一致，系统认为为异常包，丢弃，连接失败。直接修改IDC服务器的内核参数，即net.ipv4.tcp_timestamps = 0和net.ipv4.tcp_tw_recycle = 0即可</p>    <h3>2 <strong>跨版本迁移的存储过程迁移失败</strong></h3>    <h3><sub>现象：开发商在迁移过程中出现proc表无法迁移的现象</sub></h3>    <p>ERROR:Can't load from mysql.proc. The table is probably corrupted</p>    <p>解决：经CDB开发同事确认跨版本迁移的proc表因字段定义不同存在异常，发布版本跳过proc表解决。</p>    <h2>3 <strong>迁移测试中创建新数据库导致binlog导入失败</strong></h2>    <p>现象：迁移任务出现错误，无法迁移存储过程，binlog追加失败。</p>    <p>errno:1049:Error 'Unknown database 'xxxx'on query.</p>    <p>解决：原因为本次迁移选定了只迁移某个数据库，迁移过程中新建了一个数据库，并开启binlog，导致CDB拉到的binlog有新数据库信息，和迁移数据库不匹配。解决方法为迁移过程不要出现DDL操作。</p>    <h2><strong>四、总结</strong></h2>    <p>有道是：凡事预则立，不预则废。正是因为客户在迁移前我们做好了多项功能测试，性能测试和边界条件测试的预备，才使得在正式数据迁移时未出现数据不一致、现网运营切换故障等任何异常情况，为现网大规模的数据库实例迁移积累了经验。截止目前，客户逾130个MySQL实例都已顺利迁移并开启现网运营。</p>    <p> </p>    <p><br>  </p>    <p>来自：http://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650756497&idx=2&sn=1191067042ae1aa5fc96811d4945ec68&chksm=f3f9e004c48e691238d648c8b5d024ac27ea02c83aaf58f763133db4d4a113b2087245467712&scene=0#wechat_redirect</p>    <p> </p>