Netflix, como una de las plataformas de streaming más reconocidas a nivel global, ofrece una experiencia de entretenimiento sin costuras a más de 240 millones de usuarios, gracias a su interfaz altamente personalizada y su excelente estabilidad del sistema. Ya sea que estés sentado en el sofá en Hong Kong o en una cafetería en EE. UU., los servicios de Netflix siempre están listos para presentarte el contenido más atractivo. ¿Cuál es el secreto tecnológico detrás de todo esto? Una de las respuestas es la colaboración entre Netflix y AWS, así como el sistema EV Cache diseñado específicamente para un almacenamiento en caché eficiente.
En la conferencia AWS re:Invent, el equipo de ingenieros de Netflix reveló los detalles de diseño de este sistema de caché y los entresijos de su arquitectura de replicación de datos a nivel global, lo que no solo proporciona una comprensión profunda del funcionamiento de la tecnología, sino que también muestra cómo afrontar de manera eficiente los desafíos del tráfico de datos global.
La misión de Netflix es "brindar entretenimiento y placer a audiencias globales", y en el proceso de cumplir esta misión enfrenta enormes desafíos. Por ejemplo, ¿alguna vez has experimentado esperar más de un minuto al abrir Netflix y hacer clic en tu serie favorita? Casi nunca. Esto se debe al poderoso sistema de caché que Netflix ha construido a nivel mundial, asegurando que los usuarios puedan comenzar a ver sus películas de inmediato, sin importar dónde se encuentren.
Sin embargo, todo esto no es fácil. EV Cache es un sistema distribuido diseñado por Netflix para un almacenamiento en caché eficiente, donde "EV" representa Caché Volátil Efímera (Ephemeral Volatile Cache). Aunque "Volátil" sugiere inestabilidad, en realidad, los datos de EV Cache se almacenan en discos SSD y logran una alta estabilidad y disponibilidad a través de la replicación de datos en múltiples regiones.
El sistema puede procesar más de 3 mil millones de solicitudes de datos por segundo y ha almacenado más de 14.3 PB de datos, apoyado por la infraestructura de AWS distribuida a nivel global.
La replicación de datos en un sistema de caché puede parecer contraintuitiva, ya que los datos de caché generalmente se utilizan para el acceso a corto plazo. Sin embargo, las necesidades comerciales particulares de Netflix han hecho que la replicación de datos sea imprescindible. El servicio de replicación de datos global de Netflix está compuesto por múltiples microservicios y se realiza utilizando Kafka, SQS y una arquitectura de caché distribuido de AWS. Su objetivo de diseño central es mejorar la eficiencia del procesamiento de datos.
Con el continuo aumento de usuarios y datos en Netflix, reducir los costos operativos se ha convertido en un tema crucial. Recientemente, Netflix ha logrado algunos avances en la optimización del rendimiento y los costos.
