mysql批量更新千万数据思路,最近不少朋友在找mysql大量数据更新采用什么样的方式比较好的相关介绍,兔宝宝游戏网给大家详细的介绍一下,希望对大家有帮助。
1、mysql批量更新千万数据思路for:
建缓冲区。比如其他类型的高速缓存(redis等)作为中间缓冲层。
数据的查询,更改首先在这个层处理,处理完再更新到对应的数据库。
注意额外增加锁,或者缓存机制防止缓存击穿,雪崩导致系统崩溃。
2、批量向mysql导入1000万条数据的优化:
1.用start transaction关闭mysql的自动提交,合理设置插入批量大小,不要一条数据提交一次。
2.修改表的存储引擎innodb为myisam。(因为innodb中存在redo log日志,每次更新表的结果先写入redo log中,等redo log满了之后再写入磁盘而这个过程是会停止其他所有的事务)
3.优化sql(一条sql语句插入多条数据)
4.尽量顺序插入(存储引擎底层采用的数据结构是b tree索引,如果每次插入记录都在索引的最后面,索引的定位效率很高,并且对索引调整较小;如果插入的记录在索引中间,则需要维护b tree并且索引定位效率会下降,数据量较大时会有频繁的磁盘操作)
总结:以上内容就是针对mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好的详细介绍,大家可以参考一下。