Netflix は、個人ごとの最適化されたユーザーインターフェースと優れたシステムの安定性によって、2.4 億以上のユーザーにシームレスなエンターテイメント体験を提供する、世界的に有名なストリーミングプラットフォームです。香港のソファに座っていても、アメリカのカフェにいるときでも、Netflix のサービスは常に最も魅力的なコンテンツを提供してくれます。このすべての背後にある技術的な秘密とは何でしょうか？その答えの一つは、Netflix と AWS の協力、そして高効率なキャッシュのために設計された EV Cache システムです。
AWS re:Invent 会議で、Netflixのエンジニアチームがこのキャッシュシステムの設計詳細とそのグローバルデータレプリケーションアーキテクチャの内幕を明らかにしました。それは、技術の動作を深く理解させるだけでなく、どのようにしてグローバルなデータトラフィックの課題に効率的に対処するかを示しています。
Netflix のミッションは「世界中の観客にエンターテインメントと楽しさを提供することである」。そのミッションを実現するための過程では、大きな挑戦に直面しています。例えば、Netflix でお気に入りのシリーズをクリックしたとき、一分以上待たされたことがありますか？ほとんどありません。これは、Netflix が世界中に構築した強力なキャッシュシステムのおかげで、どこにいてもユーザーがすぐに動画を再生できることを保証しています。
しかし、このすべては簡単ではない。EV CacheはNetflixが効率的なキャッシュのために設計した分散システムであり、その「EV」は一時的なキャッシュ（Ephemeral Volatile Cache）を意味する。「Volatile」という言葉は揮発性を指すが、実際にはEV CacheのデータはSSDに保存されており、多地域データの複製を通じて非常に高い安定性と可用性を実現している。
このシステムは、毎秒30億件以上のデータリクエストを処理し、14.3PB以上のデータを保存しています。これは、世界中に配置されたAWSインフラストラクチャのサポートによるものです。
キャッシュシステムでのデータ複製は直感に反するように見えますが、キャッシュデータは通常短期的なアクセスにしか使用されません。しかし、Netflixの特別なビジネスニーズにより、データ複製は不可欠なものとなっています。Netflixのグローバルデータ複製サービスは、いくつかのマイクロサービスで構成され、AWSのKafka、SQSおよび分散キャッシュアーキテクチャを活用しています。その核心的な設計目標は、データ処理の効率を向上させることです。
Netflixのユーザー数とデータ量が増加し続ける中、運営コストを削減する方法が重要な課題になっています。最近、Netflixはパフォーマンスとコスト最適化の面でいくつかの成果を上げました。
