在处理员工每日作业数据上报时,由于上报数据可能乱序,并且每次更新时间范围的左右区间不能发生并发覆盖更新,因此需要优化锁的粒度。当前系统使用乐观锁(version控制),但面对高并发量,希望将其改造为分布式锁,以实现单行数据的并发数据竞争。目标是实现类似数据库间隙锁的[user_id + [start_time, end_time]]粒度锁定,即锁定某个用户在特定时间范围内的作业数据,以防止并发更新造成的覆盖问题。文章寻求实现此类分布式锁的思路和方法。
💡 **业务场景痛点:** 员工每日作业数据上报存在乱序现象,导致在更新时间范围(start_time, end_time)时,左右区间可能被并发覆盖,引发数据错误。系统原采用乐观锁(version控制)来处理并发,但面对高并发量,效果不佳。
🎯 **优化目标:** 将现有乐观锁机制升级为分布式锁,以更有效地管理单行数据的并发更新。期望实现粒度更细致的锁定,能够精确到[user_id + [start_time, end_time]],模拟数据库的间隙锁功能,锁定特定用户在特定时间段内的作业数据。
⚙️ **技术挑战:** 如何设计和实现一个能精确锁定用户在特定时间范围内的分布式锁,以防止并发写入导致的时间区间被错误覆盖。这需要考虑锁的获取、释放、冲突检测以及在并发场景下的可靠性。
🚀 **期望方案:** 寻求能够实现上述[user_id + [start_time, end_time]]粒度锁定的分布式锁解决方案,以确保数据的一致性和准确性,尤其是在并发量较大的情况下。
最近项目中需要对锁的粒度进行优化,使用分布式锁的场景是:一个员工每天会进行作业,每次作业都会上报一条作业数据,其中有个 biz_time 字段表示作业实际发生的时间(系统会合并统计它多个作业任务的开始时间和结束时间,即最后数据表中会记录这个人当天的第一个任务的开始时间为 start_time ,最后一个任务的结束时间为 end_time ),但是上报作业数据是会发生乱序的,每次更新时间范围的左右区间不能发生并发覆盖更新。当然系统需求会更加复杂,例如他的不同作业类型切换,需要终止当天的作业时长统计,并开启一段新作业的统计等等,先不用考虑。
现在是用乐观锁通过 version 控制的,由于并发量比较大,希望改造成分布式锁来实现单行数据的并发数据竞争。预期能实现成[user_id + [start_time, end_time]]粒度,也就是某个人的作业时间在某个时间范围被锁住(类似数据库的间隙锁,锁定一个范围)。但是没有思路怎么实现,在此请教一下各位大佬!