¿Cómo ha cambiado el ecosistema de tecnología con la IA?

Microsoft lleva invirtiendo varios años en la alianza con OpenAI; lo que comenzó con una inversión de mil millones de dólares en 2019 alcanzó, a finales del 2023, los 14 mil millones de dólares según una declaración hecha por su CEO en noviembre de 2023. Esta asociación ha sido crucial para desarrollar modelos de IA como los de Copilot, donde se aprovechó las tecnologías de OpenAI, como GPT-4.

Cambios para desarrollar y alojar IA

Para respaldar todas las demandas y sus planes en materia de IA, Microsoft ha invertido en mejorar sus servidores en la nube (Azure), las capacidades informáticas y sus servicios de integración. Microsoft ha utilizado su plataforma en Azure para ejecutar modelos de IA, lo que implica costos sustanciales en la infraestructura de la nube, incluidos recursos informáticos como GPU (Unidades de procesamiento de gráficos) y NPU (Unidades de procesamiento neuronal), estos son especialmente usados para entrenar modelos de lenguaje de gran tamaño.

• Alta capacidad de memoria: Los modelos de IA, especialmente los modelos de lenguaje grandes, requieren una gran memoria. Los servidores ahora suelen venir con cientos de GB a TB de RAM.
• CPU de alto rendimiento: Si bien las GPU son fundamentales, las CPU siguen siendo cruciales para las tareas de preprocesamiento y postprocesamiento. Su arquitectura se centra en recuentos de núcleos elevados e interconexiones de alta velocidad.
• Enfriamiento optimizado: Un mayor procesamiento requiere más energía y genera más calor, por lo que es clave invertir en refrigeración para estabilizar la temperatura durante las cargas de trabajo intensivas de IA; de lo contrario, el hardware colapsa o incluso se daña.
• Mayor capacidad de GPU: Las GPU de Nvidia se utilizan habitualmente en IA. 
• Con Tensor Cores: especializados para operaciones de IA, estos núcleos aceleran la multiplicación de matrices, lo cual es crucial para machine learning, ya que es necesario realizar más iteraciones a lo largo del tiempo.
• Más memoria: la memoria de gran ancho de banda (HBM) se ha convertido en el estándar para reducir la latencia y aumentar el rendimiento de datos, especialmente en IA generativa y compleja.
• Interconexiones más sólidas: los algoritmos complejos, las tecnologías generativas requieren de tecnologías como NVLink para la transferencia de datos de alta velocidad entre GPU son fundamentales para escalar los cálculos de IA.
• Ancho de banda más amplio y potente: Para manejar el flujo de datos necesario para el entrenamiento y la inferencia de IA distribuida, las redes dentro de los centros de datos se han actualizado a 100 GbE o incluso 400 GbE.
• Baja latencia: Las aplicaciones de IA se benefician de las redes de baja latencia, lo que lleva a la adopción de tecnologías como RDMA (Acceso directo a memoria remoto) para una transferencia de datos más rápida.

Cambios para el usuario final

Esta perspectiva considera hasta dónde puede llegar la IA en la complejidad del procesamiento y la entrega de resultados.

El cambio de procesador implica la necesidad de incrementar sus capacidades cuatro veces respecto a la base; Microsoft aprobó desde el diseño procesadores Qualcomm y no fue hasta 03 de setiembre del 2024 que agregó otros dos series de procesadores a la lista.

• Eficiencia Energética: Los procesadores Snapdragon, en particular la serie X Elite, están diseñados para mejorar la eficiencia energética. Esto beneficia la duración de la batería de la computadora portátil, especialmente cuando se realizan tareas de IA que se pueden descargar al dispositivo en lugar de a la nube.
• IA en el dispositivo: Estos procesadores incluyen Unidades de Procesamiento Neural (NPU), que pueden manejar cálculos de IA localmente. Esto reduce la latencia, mejora la privacidad (al no necesitar enviar datos a la nube) y puede funcionar sin conexión, mejorando la funcionalidad de las funciones de IA como Copilot en el propio dispositivo.
• Experiencia integrada: La integración de Snapdragon para dispositivos Windows permite una experiencia perfecta con el ecosistema de Microsoft, ya que han trabajado juntos, particularmente con funciones como Windows Studio Effects o mejoras impulsadas por IA en aplicaciones de productividad.
• Mayor demanda de RAM para la IA: La ejecución de aplicaciones mejoradas con IA, como Copilot, requiere una memoria sustancial para manejar el procesamiento de datos, la inferencia de modelos y la multitarea. Una RAM de 16 GB proporciona un búfer para ejecutar estas aplicaciones junto con otras herramientas de productividad sin degradación del rendimiento.

El impulso de Microsoft para estas especificaciones de hardware tiene como objetivo ofrecer una mejor experiencia de usuario con herramientas de IA, equilibrar el rendimiento con la eficiencia energética y garantizar que los usuarios puedan aprovechar las capacidades de IA sin estar atados a servicios de nube de alta gama para cada operación. Optimizar el proceso localmente tanto como sea posible mejora el rendimiento y reduce el tráfico de Internet.

De acuerdo a los requerimientos de software, los proveedores han optado por proveer el servicio con un menor rendimiento, proveer un servicio modificado o no proveer el servicio en lo absoluto.

Apple ha realizado cambios similares; por ejemplo, sólo los procesadores de la serie M y los últimos iPhone con A17 o más serán capaces de procesar la IA de Apple.

Incluso cuando utilizamos software de IA totalmente alojado en la nube y al que se accede a través de la web (Adobe Firefly o Canvas, por ejemplo), además del consumo de internet, parte del procesamiento y consumo de recursos, todavía se realiza localmente en los dispositivos de los usuarios.

Red

Es necesaria una conexión a Internet sólida para una integración estable y el procesamiento de datos en tiempo real para poder transferir información entre entrada y salida y, así, obtener los resultados esperados.

Hardware

Si bien gran parte del cálculo de la IA puede realizarse en la nube, el procesamiento local sigue siendo necesario para tareas como el preprocesamiento de datos, la inferencia inicial del modelo de IA o cuando la conectividad es deficiente o intermitente. Las computadoras portátiles necesitan mejores CPU, GPU y especialmente NPU (Unidades de procesamiento neuronal) para ejecutar tareas de IA de manera más eficiente.

Los usuarios suelen experimentar un rendimiento más lento en sus dispositivos cuando interactúan con aplicaciones de IA debido a la alta demanda computacional. No se trata solo de la velocidad de conexión, sino también de la capacidad del hardware local para gestionar los procesos de IA a nivel local.

La IA y las aplicaciones intensivas pueden aumentar el consumo de energía y la generación de calor. Las computadoras portátiles deben tener una buena ventilación para cuidar la duración de batería y una gestión térmica eficaz en el tiempo. Los nuevos diseños de procesadores consideran esto desde el diseño del procesador.

Expectativas versus realidad

El aumento de los ciberataques sofisticados, en parte facilitados por la IA en manos de actores maliciosos, ha ejercido una presión adicional sobre estos sistemas. Es importante abordar las vulnerabilidades de día cero en la red perimetral y la conexión o interfaz entre un dispositivo o red local e Internet incluyendo las VPN, que pueden provocar colapsos sistémicos, puede afectar la continuidad del negocio. Existen hoy computadoras que no pueden gestionar un antivirus con IA debido a sus limitantes técnicas, ¿es sostenible apagar el antivirus porque mi máquina no responde como espero?, el impacto no es solo en la productividad.

La mayoría de las operaciones comerciales de TI utilizan una combinación de servicios auto hospedados y SaaS, poseen infraestructura física y en la nube y ya utilizan al menos un software de inteligencia artificial. Las operaciones comerciales de TI actuales incorporan algunas tecnologías obsoletas y/o sin soporte, pero están haciendo esfuerzos para renovar su ecosistema tanto como sea posible para respaldar el crecimiento empresarial.

Complejidad de la infraestructura y falta de actualización

Aquí se analiza cómo los datos que almacena y los tipos de software que tiene automatizan los procesos y cómo está implementando la IA generativa para permitir una mejor toma de decisiones y un desarrollo de contenido más rápido. En el ejemplo de Copilot: los requisitos de RAM de Windows 11 que aumentan de 4 GB a 16 GB cuando se utilizan funciones como Copilot ilustra cómo la integración de la IA afecta directamente las especificaciones del hardware. Este cambio refleja la necesidad de más memoria para manejar sin problemas las operaciones impulsadas por IA. Aunque no todo el mundo utilizará Copilot, es posible que haya que considerar otro software.

En un entorno no técnica es como esperar que un motor de 1,400 de 4x2 suba igual una montaña que una camioneta de 2,500 de 4x4, técnicamente tiene alcances y lógicas distintas.

Red y escalabilidad

Es posible que se hayan escuchado comentarios sobre la mala conexión Wi-Fi en la oficina o durante el trabajo remoto. Estamos transfiriendo más datos que nunca y, aunque algunos software como Meet o Teams pueden auto ajustarse para reducir los problemas de conectividad, no todos los software y, sus procesamiento, tienen la misma lógica. Algunos software incluso ponen un modo mini o lite, como es el caso de Grok.

Existen actividades y sistemas que se ejecutan regularmente y de manera simultánea, pero es probable que durante ciertos momentos de la operación, como el cierre contable, mientras procesan los RPA y ERP, además de las transacciones diarias, el sistema se ralentice.  Es necesario que se consideren las capacidades porque algunas funciones están programadas para detenerse cuando funcionan bajo una conexión estable.

Encontrar el balance de la cantidad de data que procesa en los servidores y la nube con la cantidad que puede procesar en los dispositivos de los usuarios finales ayuda a definir el tamaño del canal y las características del dispositivo.

Gestión de endpoints

La IA y las aplicaciones empresariales intensivas pueden aumentar el consumo de energía y la generación de calor. Los dispositivos deben ofrecer una buena duración de la batería y una gestión térmica eficaz. Al seleccionar una computadora en contexto de negocios, se deben priorizar los modelos diseñados para negocios o productividad, enfatizando las capacidades y el rendimiento de la IA. Esto es distinto al de una de educación donde la productividad no es la prioridad pero si las capacidades y el uso de plataformas estables con integraciones de IA.

Muchas marcas tienen líneas de productos que satisfacen estas necesidades y, a menudo, incluyen opciones para mejoras de hardware específicas de IA; sin embargo, es importante considerar que los procesadores pueden afectar significativamente el rendimiento. La elección debe equilibrar el costo con los requisitos de rendimiento de su caso de uso específico y las expectativas del usuario.

Amenazas a la ciberseguridad

La IA ha proporcionado más herramientas tanto a personas buenas como a malas. Aunque también puede ser una puerta de entrada para los hackers, las sistemas de ciberseguridad están en un constante aprendizaje automático y otras tecnologías para mejorar sus sistemas.

Las tecnologías se renuevan y actualizan con más frecuencia que nunca. Varios anuncios se refieren a actualizaciones que corrigen parches de seguridad, mientras que otros anuncian cambios en el servicio o soporte para sistemas más antiguos como Windows 10 hasta 2025. En este último ejemplo, el cambio afecta no solo al futuro del dispositivo sino también a todos los sistemas que interactúan con él incluyendo antivirus.

Análisis multifacético: hay un presupuesto y los recursos son limitados, por lo que no todos necesitarán tecnología de alta gama. Sin embargo, hay que tener en cuenta que lo que hace un par de años solía ser tecnología de alta gama ahora es algo común. Se debe analizar todo el ecosistema y la obsolescencia, identificar los puntos débiles y comprender de qué son capaces los recursos, junto con la hoja de ruta de sus proveedores tecnológicos.

Trabajo en equipo: aunque puede implicar un análisis técnico detallado, trabajar con IA requiere un enfoque estratégico. Un CTO sabe que la tecnología está evolucionando, tal vez no sea experto en fuentes de financiamiento ni gestión la inversión en TI en el tiempo con una visión de futuro. Un CFO sabe cómo evaluar proyectos; sin embargo, evaluar las inversiones en TI se vuelve más complejo cuando se consideran el gasto de capital, la gestión de riesgos frente a la continuidad del negocio y el crecimiento frente a un presupuesto limitado. Un CEO sabe hacia dónde se dirige el negocio y que TI está transformando las operaciones, pero aún está determinando dónde el mix invertir para la productividad y la optimización de costos.

Rendimiento: más RAM y mejores procesadores permiten una gestión de datos más eficiente, lo cual es crucial cuando los modelos de IA necesitan cargar y procesar datos rápidamente. Una mejor combinación de RAM entre la demanda de uso de hardware y software conduce a una experiencia de usuario más fluida, particularmente en aplicaciones en tiempo real donde la velocidad o el alto procesamiento son clave.

Proyección del futuro: a medida que el software, incluidas las funciones de IA, consume más recursos, un upgrade base de 16 GB de RAM ayudan a garantizar que el sistema pueda manejar futuras actualizaciones y nuevas funciones sin necesidad de una actualización de hardware poco después, teniendo en cuenta el costo de oportunidad con el que se sienta cómodo.