Netflix 作為全球知名的串流媒體平台,憑藉著高度個人化的用戶介面和優異的系統穩定性,為超過 2.4 億用戶提供無縫的娛樂體驗。無論你是坐在香港的沙發上,還是在美國的咖啡店裡,Netflix 的服務總是能隨時為你呈現最吸引的內容。這一切背後的技術秘密是什麼呢?答案之一便是 Netflix 與 AWS 的合作,以及專為高效緩存設計的 EV Cache 系統。
在 AWS re:Invent 會議中,Netflix 的工程師團隊揭示了這一緩存系統的設計細節及其全球數據複製架構的內幕,不僅讓人深入了解技術的運作,更展示了如何高效應對全球數據流量的挑戰。
Netflix 的使命是「為全球觀眾帶來娛樂和愉悅」,而實現這項使命的過程中面臨著巨大的挑戰。例如,當你打開 Netflix 點擊最愛影集時,是否有過等待超過一分鐘的情況?幾乎沒有。這得益於 Netflix 在全球範圍內建設的強大緩存系統,確保用戶無論身在何處都能即時開始播放影片。
然而,這一切並非易事。EV Cache 是 Netflix 為高效緩存而設計的分佈式系統,其中的「EV」代表臨時性緩存(Ephemeral Volatile Cache)。儘管「Volatile」意指易失性,但實際上,EV Cache 的數據基於 SSD 硬碟儲存,並通過多區域數據複製達成極高的穩定性和可用性。
該系統每秒可處理超過 30 億次數據請求,並儲存了超過 14.3 PB 的數據,依靠全球布置的 AWS 基礎設施提供支援。
在緩存系統中進行數據複製看似反直覺,因為緩存數據通常僅用於短期存取。然而,Netflix 的特殊業務需求讓數據複製變得必不可少。Netflix 的全球數據複製服務由多個微服務組成,並借助 AWS 的 Kafka、SQS 及分佈式緩存架構實現。其核心設計目標是提高數據處理效能。
隨著 Netflix 用戶和數據量的持續上升,如何降低營運成本成為重要課題。近期,Netflix 在性能和成本優化方面取得了一些成果。