Facebook 缓存一致性方案：TAO / Memcache / Polaris

[ Computer ]

Facebook（现 Meta）主要通过 TAO（图数据存储）和 Memcache 等大规模缓存系统处理缓存一致性问题。 它们采用**最终一致性（eventual consistency）**模型，优先保证可用性和读性能，而非强一致性。这在社交图等读密集型场景下非常实用。

主要处理方式

  1. 缓存失效（Cache Invalidation）机制：

    • 写操作时，通常不直接更新缓存，而是**删除（invalidate）**对应缓存条目。下次读取时发生 cache miss，从数据库回填最新数据。
    • TAO 使用graph-aware cache（图感知缓存），内置控制逻辑处理关联（edges）和对象（objects），比纯 lookaside cache（如早期 Memcache）更高效，能更好地协调并发更新和避免 thundering herd 问题。

  2. 一致性模型：

    • 单缓存/区域内：提供 read-after-write 一致性（在有限故障下）。
    • 跨区域/缓存：最终一致性，通过异步复制和 cache maintenance messages 传播更新。通常复制延迟 <1 秒。
    • 使用版本信息进行冲突解决，但缓存非持久化（可能 eviction 导致版本丢失），会产生各种 race conditions（例如 cache fill 和 invalidation 并发）。

  3. 可观测性和改进（Polaris 系统）：

    • Meta 构建了 Polaris 服务（独立于生产缓存），专门监控客户端可观测的不一致。它伪装成缓存服务器，接收 invalidation 事件，然后查询多个缓存副本验证一致性。
    • 使用多时间尺度（1/5/10 分钟等）重试，避免误报，并延迟重查数据库（减少负载）。
    • 这帮助他们将 TAO 的缓存一致性从 99.9999%（6 nines） 提升到 99.99999999%（10 nines） ——即 5 分钟内，少于 1/100 亿的缓存写操作会不一致。
    • 结合一致性追踪（tracing），定位引入不一致的具体位置（例如 shard move、故障恢复、网络分区等）。

这些机制结合监控、版本控制和异步传播，平衡了性能与一致性。

是否发布过相关论文？

是的，Facebook/Meta 发布过几篇直接或间接相关的论文：

  • 《TAO: Facebook’s Distributed Data Store for the Social Graph》（USENIX ATC 2013）：详细描述 TAO 的架构、数据模型（objects & associations）、一致性保证（eventual consistency + read-after-write 在单 tier 内）和缓存机制。这是核心论文。
  • 《Scaling Memcache at Facebook》：早期 Memcache 扩展，讨论一致性挑战和解决方案（如 leases、remote markers）。
  • 《Measuring and Understanding Consistency at Facebook》（SOSP 2015）：量化 TAO 等系统中的一致性异常。

2022 年的 “Cache made consistent” 工程博客详细介绍了 Polaris 和一致性提升实践，但这不是正式学术论文，而是生产经验分享。

总体上，Facebook 的方案强调可观测性驱动的工程实践，而非追求理论上的完美强一致性，这在超大规模系统中更现实。如果你需要具体论文 PDF 或更多细节，我可以进一步帮你查找。