Usa esta guía para entrevistar a un ingeniero de machine learning — el rol que convierte modelos en sistemas de producción confiables, no solo en notebooks. Elige de ocho a doce preguntas por sesión, mantén el conjunto consistente entre candidatos y da mucho peso al grupo de sistemas en producción: es lo que separa a un ingeniero de ML de un investigador puro. Ancla las preguntas en {{Tu producto o dominio}} cuando sea posible.

Fundamentos de ML

• Explica el equilibrio entre sesgo y varianza con un ejemplo de un proyecto que realmente pusiste en producción.
• ¿Cuándo elegirías un árbol con gradient boosting sobre una red neuronal? ¿Qué evidencia te haría cambiar de opinión?
• ¿Cómo funciona la regularización y cómo eliges entre L1, L2 y dropout en la práctica?
• ¿Qué es la fuga de datos? Describe una fuga sutil que hayas encontrado — o causado.
• ¿Cómo detectarías sobreajuste cuando el conjunto de validación es pequeño?

Datos e ingeniería de características

• Explícame cómo construirías un conjunto de entrenamiento para {{Un problema de predicción en tu dominio}}. ¿De dónde salen las etiquetas y qué podría contaminarlas?
• ¿Cómo manejas el desbalance de clases más allá del sobremuestreo ingenuo? ¿Cuándo importa realmente?
• Cuéntame sobre un pipeline de características que construiste. ¿Cómo mantuviste consistentes las características de entrenamiento y de servicio?
• ¿Cómo versionas conjuntos de datos y características para que un experimento de hace seis meses sea reproducible?
• ¿Qué verificaciones ejecutas antes de confiar en una nueva fuente de datos?

Modelado y evaluación

• ¿Cómo eliges una métrica offline que prediga el impacto online? Cuéntame una ocasión en que las dos discreparon.
• Diseña una evaluación para un modelo cuya verdad de referencia llega semanas después de la predicción.
• ¿Cómo configuras una prueba A/B para un cambio de modelo? ¿Qué puede salir mal además de una muestra insuficiente?
• Tu modelo funciona bien en promedio pero mal para un segmento de usuarios. ¿Cómo lo encuentras y lo corriges?
• ¿Cuándo es una heurística simple la respuesta correcta en lugar de un modelo? Da un ejemplo real.
• ¿Cómo comunicas la incertidumbre del modelo a un equipo de producto que quiere una respuesta de sí o no?

Cómo se ve una buena respuesta: los candidatos sólidos conectan cada métrica con un resultado de producto o de negocio, saben exactamente dónde engañan las métricas offline y ofrecen al menos una historia en la que descartaron su propio modelo porque un enfoque más simple ganó. Desconfía de quienes solo hablan de exactitud tipo tabla de posiciones.

Sistemas de ML y producción

• Diseña la ruta de servicio para un modelo que debe responder en menos de 100 milisegundos con tráfico alto. ¿Dónde vive el cómputo de características?
• ¿Cómo monitoreas un modelo en producción? ¿Qué vigila realmente el monitoreo de deriva y qué haces cuando se activa?
• Explícame un pipeline de entrenamiento del que fuiste responsable: orquestación, disparadores de reentrenamiento y reversión.
• Inferencia por lotes versus en tiempo real: ¿cómo decides y qué cuesta operar cada una?
• El rendimiento en producción de un modelo se degradó pero ningún código cambió. ¿Cuáles son tus principales hipótesis y cómo pruebas cada una?
• ¿Cómo lanzas una nueva versión de un modelo de forma segura — modo sombra, canario u otra estrategia — y por qué?

Cómo se ve una buena respuesta: los candidatos con experiencia tratan el modelo como un componente pequeño dentro de un sistema mayor. Mencionan contratos de datos, monitoreo, planes de reversión y modos de falla sin que se les pida, pueden cuantificar costos de servicio y reentrenamiento, y describen al menos un incidente de producción que diagnosticaron desde los síntomas hasta una causa en los datos.

Ingeniería de software para ML

• ¿Cómo pruebas código de ML cuando el comportamiento es en parte estadístico?
• ¿Cómo llevas código de investigación con calidad de notebook a calidad de producción sin perder a la persona investigadora en el camino?
• Cuéntame sobre una ocasión en que redujiste significativamente el costo de entrenamiento o de inferencia. ¿Qué cambiaste?
• ¿Cómo estructuras un repositorio de ML para que los experimentos no se pudran en ramas inmantenibles?

Colaboración e impacto

• Cuéntame sobre un proyecto de ML que llegó a producción y movió una métrica de negocio. ¿Cuál fue tu contribución específica?
• ¿Cómo delimitas un proyecto con una persona de producto que no está segura de si siquiera se necesita ML?
• Describe cómo explicaste una decisión de modelo que parecía equivocada a una persona no técnica.
• ¿Cómo acompañas a ingenieros nuevos en ML sin convertirte en el cuello de botella de cada decisión de modelado?