mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好-九游会平台

游戏攻略 2024-02-05 17:52:28 2 0

mysql批量更新千万数据思路,最近不少朋友在找mysql大量数据更新采用什么样的方式比较好的相关介绍,兔宝宝游戏网给大家详细的介绍一下,希望对大家有帮助。

mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好

1、mysql批量更新千万数据思路for:

建缓冲区。比如其他类型的高速缓存(redis等)作为中间缓冲层。
数据的查询,更改首先在这个层处理,处理完再更新到对应的数据库。
注意额外增加锁,或者缓存机制防止缓存击穿,雪崩导致系统崩溃。

2、批量向mysql导入1000万条数据的优化:

1.用start transaction关闭mysql的自动提交,合理设置插入批量大小,不要一条数据提交一次。
2.修改表的存储引擎innodb为myisam。(因为innodb中存在redo log日志,每次更新表的结果先写入redo log中,等redo log满了之后再写入磁盘而这个过程是会停止其他所有的事务)
3.优化sql(一条sql语句插入多条数据)
4.尽量顺序插入(存储引擎底层采用的数据结构是b tree索引,如果每次插入记录都在索引的最后面,索引的定位效率很高,并且对索引调整较小;如果插入的记录在索引中间,则需要维护b tree并且索引定位效率会下降,数据量较大时会有频繁的磁盘操作)

总结:以上内容就是针对mysql批量更新千万数据思路for,mysql大量数据更新采用什么样的方式比较好的详细介绍,大家可以参考一下。

数据 
  • 文章 64403
  • 评论 0
  • 访问 788296

最新发布

热门排行

热评榜单

网站地图