能否基于Redis实现分布式锁

[donsunsoft]

我在用RedisScheduler实现爬虫调度时，发现一台机器addUrl后只能唤醒本机已休眠的线程，但无法唤醒其他机器的线程，能否实现一个RedisLock替代原来的newUrlLock，让任何一台机器加入新的url后所有机器同时开始工作吗？

[jwlyn]

只有一个URL吗，如果只有一个URL并且没有在解析网页的时候加入新URL，其他肯定没有工作要做的。
如果加入了新的URl，那么就是个BUG了

[code4craft]

分布式的通知机制是可行的，但是实现比较复杂。
现在的方案其实是慢启动，没有URL时会等待30秒(emptySleepTime，可配置)，等待主机器已经抓了一部分数据后，再开始。因为之前考虑的场景都是一次抓取大量数据，所以没有太大问题。
如果是实时性要求高的小任务，可以将emptySleepTime改小一点。

[jwlyn]

@code4craft @donsunsoft 没有URL的时候redis不是有blocking模式吗，为什么还要分布式的锁呢？

[krisjin]

使用zookeeper

[donsunsoft]

@Xuchaoo 就像@code4craft 说的，及时性稍差一点。如果提交URL的机器本身会执行任务，就不需要实时通知了，否则就要等执行任务的worker过了emptySleepTime才开始。