A Netflix, como uma plataforma de streaming mundialmente reconhecida, oferece uma experiência de entretenimento perfeita para mais de 240 milhões de usuários, graças à sua interface altamente personalizada e à excelente estabilidade do sistema. Não importa se você está sentado no sofá de Hong Kong ou em uma cafeteria nos Estados Unidos, os serviços da Netflix sempre estarão prontos para lhe apresentar os conteúdos mais atraentes. Qual é o segredo técnico por trás de tudo isso? Uma das respostas é a colaboração entre a Netflix e a AWS, além do sistema EV Cache, projetado especialmente para um cache eficiente.
Na conferência AWS re:Invent, a equipe de engenharia da Netflix revelou os detalhes de design deste sistema de cache e os bastidores de sua arquitetura de replicação de dados global. Isso não apenas proporciona uma visão profunda sobre o funcionamento da tecnologia, mas também demonstra como enfrentar de forma eficiente os desafios do tráfego de dados global.
A missão da Netflix é "oferecer entretenimento e prazer ao público global", e alcançar essa missão apresenta enormes desafios. Por exemplo, quando você abre a Netflix e clica na série favorita, você já teve que esperar mais de um minuto? Quase nunca. Isso se deve ao poderoso sistema de cache construído pela Netflix em todo o mundo, garantindo que os usuários possam começar a assistir aos vídeos instantaneamente, não importa onde estejam.
No entanto, tudo isso não é uma tarefa fácil. O EV Cache é um sistema distribuído projetado pela Netflix para cachear de maneira eficiente, onde "EV" representa Cache Volátil Efêmero (Ephemeral Volatile Cache). Embora "Volátil" signifique instável, na verdade, os dados do EV Cache são armazenados em discos rígidos SSD e alcançam uma alta estabilidade e disponibilidade através da replicação de dados em múltiplas regiões.
Este sistema pode processar mais de 3 bilhões de solicitações de dados por segundo e armazena mais de 14,3 PB de dados, suportado pela infraestrutura da AWS distribuída globalmente.
A replicação de dados em um sistema de cache pode parecer contra-intuitiva, já que os dados em cache são geralmente utilizados apenas para acesso de curto prazo. No entanto, as necessidades comerciais especiais da Netflix tornaram a replicação de dados essencial. O serviço global de replicação de dados da Netflix é composto por múltiplos microserviços e é realizado com a ajuda do Kafka, SQS e da arquitetura de cache distribuído da AWS. O principal objetivo de design é melhorar a eficiência do processamento de dados.
Com o aumento contínuo do número de usuários e dados da Netflix, como reduzir os custos operacionais se tornou uma questão importante. Recentemente, a Netflix alcançou alguns resultados em otimização de desempenho e custos.
