Tecnología

YouTube ahora está construyendo sus propios chips de transcodificación de video

Foto de primer plano extremo del componente de la computadora.
Agrandar /. Una VCU de Google Argos. Transcodifica videos muy rápidamente.

Google ha decidido que YouTube requerirá una carga de trabajo de transcodificación tan grande que tendrá que construir sus propios chips de servidor. La compañía explicó sus nuevos chips «Argos» en una publicación de blog de YouTube, una entrevista a CNET y en un artículo para ASPLOS, la conferencia para el soporte arquitectónico de lenguajes de programación y sistemas operativos. Al igual que hay GPU para cargas de trabajo de gráficos y TPU (Unidad de procesamiento de tensor) de Google para cargas de trabajo de inteligencia artificial, el equipo de infraestructura de YouTube creó la «VCU» o «Unidad de codificación de video (trans)» que YouTube usa para crear un solo video que puede transcodificarse en un docenas de versiones necesarias para un sitio de videos fluido, rentable y eficiente en el ancho de banda.

Jeff Calow de Google dijo que el chip Argos «mejoró la eficiencia computacional de 20 a 33 veces sobre nuestro sistema previamente optimizado que ejecutaba software en servidores tradicionales». El paquete VCU es una tarjeta PCI-E de longitud completa y es muy similar a una tarjeta gráfica. Hay dos chips ASIC de Argos en una placa, que están enterrados bajo un enorme disipador de calor de aluminio refrigerado pasivamente. Incluso hay un conector de alimentación de 8 pines en el extremo porque PCI-E simplemente no tiene suficiente energía.

Google ha proporcionado un diagrama de chip ordenado que enumera 10 «núcleos de codificador» en cada chip. El documento técnico de Google dice: «Todos los demás elementos son bloques de IP estándar». Google dice que «cada núcleo de codificador puede codificar 2160p en tiempo real a hasta 60 FPS (fotogramas por segundo) utilizando tres fotogramas de referencia».

Los mapas están especialmente diseñados para el sistema informático a escala de almacén de Google. En cada grupo de computadoras en el sistema de YouTube hay una sección con «computadoras VCU» dedicadas en las que se cargan los nuevos mapas. Por lo tanto, Google no tiene que abrir todos los servidores y cargarlos con un mapa nuevo. Según Google, las tarjetas son similares a las GPU en el sentido de que encajan en los compartimentos del acelerador existentes. CNET informa que «actualmente hay miles de chips funcionando en los centros de datos de Google». Gracias a las tarjetas, las cargas de trabajo de video individuales, como los videos 4K, se pueden ver «en horas en lugar de los días que tomaba antes».

Teniendo en cuenta la investigación y el desarrollo de los chips, Google dice que este plan VCU le ahorrará a la compañía una tonelada de dinero, incluso teniendo en cuenta el siguiente punto de referencia que muestra el costo total de propiedad de la configuración en comparación con la ejecución de su algoritmo en chips Intel Skylake y Nvidia. GPU T4 Tensor Core.

El índice de referencia de Google y la tabla de costo de propiedad del documento técnico.

El índice de referencia de Google y la tabla de costo de propiedad del documento técnico.

Google

El problema de transcodificación increíblemente grande de YouTube

Dado que YouTube es el sitio web de videos más grande del mundo, originalmente se consideró una tarea imposible mantenerlo en funcionamiento hasta que Google compró la compañía en 2006. Desde entonces, Google ha luchado agresivamente para mantener bajo el costo del sitio web, a menudo reinventando la infraestructura de Internet y la ley de derechos de autor para hacerlo posible. Hoy en día, el principal problema de infraestructura que YouTube debe resolver para los usuarios finales es obtener videos que funcionen. precisamente para su dispositivo y su ancho de banda manteniendo la calidad. Esto significa usar un códec compatible con su dispositivo y elegir una resolución que se adapte a su pantalla (y no volar su conexión a Internet con un archivo enorme).

Para Google, esto significa convertir un solo video en un video cantidad de otros videos. Puede ver parte de este trabajo por sí mismo haciendo clic en el engranaje para ver un video de 8K. Muestra nueve resoluciones totales creadas con una sola carga: 144p, 240p, 360p, 480p, 720p, 1080p, 1440p, 2160p y 4320p. Todos estos son archivos de video diferentes, y cada uno debe crearse a partir del archivo 8K cargado originalmente, y tenga en cuenta que son sólo para su dispositivo en particular.

Google también debe ofrecer algunas de estas nueve resoluciones en múltiples códecs que determinan cómo se comprime el video mientras viaja por Internet. La compañía quiere ofrecer video en el códec más avanzado y eficiente disponible para ahorrar ancho de banda, que es una gran parte del costo de YouTube. Sin embargo, la decodificación de un códec de video consume potencia de procesamiento, y en dispositivos móviles más baratos, sin soporte de aceleración de hardware dedicado para cada nuevo códec, la decodificación no será fluida y eficiente. Eso significa que Google solo puede usar los mejores códecs en dispositivos nuevos y debe mantener copias del video en códecs más antiguos para dispositivos más antiguos.

Hoy en día, los dispositivos modernos generalmente obtienen el códec VP9 eficiente, mientras que el H.264 más compatible se usa para dispositivos que no están actualizados. Nadie conoce realmente la profundidad de la selección de códecs de video de YouTube, pero el sitio generalmente admite dispositivos que tienen casi 10 años también, incluidos «teléfonos plegables de baja resolución», según el documento de ASPLOS. Entonces, hay algunos códecs antes de H.264, como: B. 3GP, para dispositivos antiguos.

Un dado rotulado de una ficha Argos.
Agrandar /. Un dado rotulado de una ficha Argos.

Google

El desafío informático de YouTube de Google se vuelve aún más inescrutable si se considera que los códecs están en constante evolución. Debido a que el ancho de banda para que se ejecute el sitio web es tan alto, es beneficioso para Google aprovechar estos nuevos códecs y actualizarlos de inmediato. Actualizar a un nuevo códec significa transcodificar ningún vídeo (o al menos la mayoría de ellos) al nuevo códec de moda, y sí, eso tiene que suceder cada dos años para cada códec nuevo.

¿Cuántos videos crees que hay en YouTube? Es probable que Google solo proporcione estadísticas sobre el crecimiento (por ejemplo, «se cargan 500 horas de video en YouTube cada minuto») porque la cantidad total de videos es tan grande que es una cantidad indetectable. Y eso ni siquiera cuenta YouTube Live (imagínese tener toda esta transcodificación en vivo con un retraso de 100 ms) y las cargas de trabajo adicionales de Drive y Google Photos. Google tiene el trabajo de transcodificación más grande del mundo.

Los códecs son tan importantes para el éxito de YouTube que Google está asumiendo un papel de liderazgo en su desarrollo. En 2009, Google compró el desarrollador de códecs On2 Technologies (la compañía que proporcionó el códec VP6 para videos Flash, que en ese momento era compatible con YouTube), y el gigante de las búsquedas ha sido un importante desarrollador de códecs desde entonces. Después de lanzar y actualizar a VP8 y VP9, ​​Google está pasando a su próximo códec llamado «AV1» que espera ver un amplio despliegue algún día. AV1 fue creado por una coalición industrial.

Con respecto a AV1, Calow dijo al blog de YouTube: «Una de las cosas es que no era un programa de una sola vez. Siempre se pretendió tener varias generaciones del chip con la coordinación de los sistemas en el medio. Y una de ellos. Lo que estamos haciendo en el chip de próxima generación es agregar AV1, un nuevo estándar de codificación avanzado que se comprime de manera más eficiente que VP9 y tiene una carga computacional aún mayor para codificar «. AV1 está disponible experimentalmente en YouTube y varios otros sitios de videos que se utilizan masivamente, sin embargo, actualmente está siendo retenido por el soporte al cliente. Según CNET, estos chips de segunda generación ya se están implementando en las granjas de servidores de Google.

Más populares

To Top