Inicio/ Blog/ Cómo detectar contaminación entre tratamientos durante un…

Cómo detectar contaminación entre tratamientos durante un piloto de cobranza

17 nov 2026 – 11 min de lectura

por Ed Escobar Co-Founder & CEO

Cuando una empresa de servicios financieros implementa un piloto de cobranza automatizada con agentes de voz con IA, uno de los riesgos metodológicos más críticos es la contaminación entre tratamientos: el escenario donde el grupo de control adopta características del tratamiento experimental o recibe intervenciones no planificadas que invalidan la comparación.

Para un CFO o director de cobranza que evalúa la inversión en automatización, detectar esta contaminación es fundamental. Un piloto contaminado subestima o sobreestima el efecto real, llevando a decisiones erróneas de inversión de cientos de miles de dólares.

Qué Es la Contaminación Entre Tratamientos en un Piloto de Cobranza

Ilustración de la interfaz de Kleva: tarjeta de la agente de voz Valeria en llamada, con el tiempo de la llamada y la transcripción en vivo de la conversación con el cliente.

La contaminación cruzada ocurre cuando:

  • El grupo de control (cuentas gestionadas manualmente) recibe llamadas no registradas del equipo automatizado.
  • Los gestores humanos aprenden técnicas de los agentes de IA y las replican en el grupo de control.
  • Los deudores del grupo de control reciben mensajes automáticos de WhatsApp destinados al grupo de tratamiento.
  • La política de negociación cambia durante el piloto y se aplica inconsistentemente entre grupos.

En diseño experimental, esto viola el principio SUTVA (Stable Unit Treatment Value Assumption): cada unidad debe recibir solo el tratamiento asignado, sin interferencia de otras unidades.

Consecuencias de No Detectar la Contaminación

Según estudios de diseño experimental en entornos controlados, un aumento en el porcentaje de contaminación disminuye la potencia del estudio y requiere incrementar el tamaño de muestra para mantener la validez estadística. En pilotos de cobranza, esto se traduce en:

Escenario de ContaminaciónSesgo en ResultadosImpacto en Decisión
El grupo de control recibe contactos del sistema automatizadoROI subestimado 20-40%Rechazo erróneo del piloto
Gestores humanos copian guiones de IADiferencia reducida artificialmenteConclusión de "no mejora significativa"
Políticas cambian solo en tratamientoROI sobreestimado 30-50%Expectativas irreales post-despliegue
Deudores comparten estrategiasSpillover effect positivo o negativoEstimación inestable del efecto

Métodos Prácticos para Detectar Contaminación

Ilustración de la interfaz de Kleva: la agente de voz Sofía hablando, con la onda de su voz y la conversación en burbujas: la agente propone registrar el pago para el viernes y el cliente acepta.

1. Monitoreo de Datos y Auditoría de Contactos

La primera línea de defensa es el monitoreo continuo de todos los puntos de contacto con los deudores:

  • Auditoría de telefónica: exportar CDRs (Call Detail Records) completos y cruzar contra la lista de asignación. Cualquier número del grupo de control que aparezca en las llamadas del sistema automatizado es evidencia directa de contaminación.
  • Logs de WhatsApp/SMS: verificar que cada mensaje automático solo llegue a cuentas del grupo de tratamiento. Usar reporting de entregas y no solo envíos planificados.
  • Timestamps de acciones: correlacionar cuándo los gestores humanos acceden a expedientes del grupo de control. Picos de actividad después de capacitaciones sobre IA pueden indicar adopción de técnicas del tratamiento.

En experimentos de laboratorio, el control de calidad preventivo incluye el uso de blancos negativos (muestras que no deberían mostrar actividad) para detectar contaminación inadvertida. En cobranza, esto equivale a insertar cuentas señuelo en el grupo de control que disparan alertas si reciben contacto automatizado.

2. Análisis de Efectos Spillover (Derrame)

Los efectos de spillover ocurren cuando el tratamiento en un grupo afecta indirectamente al grupo de control a través de redes sociales o comportamientos compartidos. En cobranza B2B, esto es común cuando:

  • Deudores de una misma empresa discuten las llamadas recibidas.
  • Gestores de cobranza comparten "mejores prácticas" entre equipos.
  • Cambios en políticas internas de la empresa (ej. mayor disponibilidad de descuentos) afectan ambos grupos.

Investigaciones recientes en experimentos A/B muestran que los spillovers conducen a estimaciones sesgadas del efecto del tratamiento bajo aleatorización simple. Para detectarlos:

  • Comparar subgrupos aislados: segmentar el grupo de control en cuentas con y sin conexión potencial al tratamiento (ej. misma ciudad, mismo sector industrial). Si el subgrupo conectado muestra mejoras vs. el aislado, hay spillover.
  • Análisis de correlación temporal: graficar la tasa de contacto efectivo o promesa de pago del grupo de control a lo largo del piloto. Mejoras progresivas sin cambios en recursos humanos sugieren aprendizaje desde el tratamiento.
  • Entrevistas cualitativas: preguntar a gestores qué técnicas nuevas aplicaron durante el piloto y de dónde las aprendieron. La mención de "lo que hace el sistema" confirma contaminación.

3. Aleatorización por Conglomerados (Clusters)

Si la contaminación es estructural y no se puede prevenir con monitoreo, el diseño experimental debe ajustarse. La aleatorización por conglomerados consiste en asignar grupos completos (no cuentas individuales) a cada tratamiento:

  • Por sucursal o región: todas las cuentas de una sucursal van al tratamiento, todas las de otra van al control. Esto aísla físicamente los grupos y elimina el spillover entre gestores.
  • Por cohorte temporal: procesar toda la cartera entrante de enero-marzo con gestión manual (control), abril-junio con IA (tratamiento). Riesgo: la estacionalidad puede confundirse con el efecto del tratamiento.
  • Por producto o vintage: asignar créditos hipotecarios al tratamiento y consumo al control. Requiere tamaños de muestra mayores para compensar la heterogeneidad entre productos.

La aleatorización por clusters sacrifica potencia estadística (requiere más cuentas para el mismo nivel de confianza), pero es la única opción válida cuando la contaminación individual es inevitable.

4. Pruebas Estadísticas de Diferencias Pre-Piloto

Antes de iniciar el piloto, documentar que ambos grupos son estadísticamente equivalentes en todas las variables clave:

  • Distribución de saldos: media, mediana, percentiles 25/75/90.
  • Días de atraso: promedio y desviación estándar por tramo (30-60, 61-90, 90+).
  • Historial de contacto: número de llamadas previas, tasa de respuesta histórica.
  • Perfil demográfico: edad, región, tipo de producto.

Durante el piloto, repetir estas pruebas semanalmente. Si el grupo de control muestra cambios en variables que solo el tratamiento debería afectar (ej. aumento súbito en promesas de pago sin cambios en recursos), hay contaminación.

Cómo Prevenir la Contaminación Desde el Diseño del Piloto

La detección es costosa; la prevención es más eficiente. Al diseñar un piloto de cobranza con agentes de voz con IA:

Inspección de Infraestructura

En experimentos de laboratorio farmacéutico, la prevención de contaminación cruzada requiere inspeccionar al detalle el diseño de las instalaciones y equipos e implementar modificaciones para evitar el contacto entre tratamientos. En cobranza:

  • Segregación de sistemas: el CRM o plataforma de cobranza debe tener permisos configurados para que los gestores del grupo de control no vean expedientes del tratamiento ni viceversa.
  • Líneas telefónicas dedicadas: usar números de origen distintos para llamadas automatizadas vs. manuales. Facilita el cruce posterior de CDRs.
  • Equipos separados físicamente: si es viable, ubicar en oficinas o turnos distintos a los gestores de cada grupo durante el piloto. Reduce el intercambio informal de técnicas.

Congelar Políticas de Negociación

Documentar y versionar las reglas de negociación (rangos de descuento, plazos máximos, quitas) antes del piloto. Cualquier cambio debe aplicarse simultáneamente a ambos grupos o postponerse hasta después del piloto. Esto evita confundir el efecto tecnológico con el efecto de políticas más flexibles.

Capacitación con Aislamiento

Si los gestores del grupo de control deben recibir capacitación sobre el piloto (para entender el contexto), hacerlo sin demostración de técnicas del agente de IA. Explicar el "qué" y el "por qué" del experimento, no el "cómo" del tratamiento.

Herramientas y Tecnología para Monitoreo de Contaminación

Las plataformas de cobranza modernas facilitan la detección de contaminación si se configuran correctamente:

  • Dashboards de auditoría en tiempo real: paneles que muestran qué gestor o sistema tocó cada cuenta, con alertas automáticas si un expediente del grupo de control es accedido por el sistema de IA.
  • Logs de exportación de datos: rastrear quién descargó reportes con información de ambos grupos. Evita que analistas mezclen datos inadvertidamente.
  • Versionado de configuración: registrar cada cambio en reglas de negociación, guiones de llamadas o horarios de contacto, con timestamp y usuario responsable. Permite reconstruir si un cambio afectó desproporcionadamente a un grupo.

Kleva ofrece agentes de voz con IA para cobranza que operan con sistemas de telefónica integrados, lo cual simplifica el aislamiento de tráfico entre grupos durante un piloto. Los logs de llamadas y negociaciones están disponibles para auditoría, facilitando el cruce contra listas de asignación.

Qué Hacer Si Se Detecta Contaminación Durante el Piloto

Si la auditoría revela contaminación significativa (>5% de cuentas afectadas):

  1. Pausar el piloto inmediatamente y notificar a stakeholders. Continuar acumula datos inválidos que no se pueden corregir retroactivamente.
  2. Cuantificar la magnitud: listar todas las cuentas contaminadas, con qué contactos y cuándo. Estimar el sesgo probable (subvaloración o sobrevaloración del efecto).
  3. Decidir entre remediar o reiniciar:
  4. Si la contaminación es reciente (última semana de un piloto de 6 semanas), considerar excluir esas cuentas del análisis final y extender el piloto para recuperar poder estadístico.
  5. Si es estructural (ej. políticas cambiaron solo en tratamiento desde el inicio), reiniciar el piloto con el diseño corregido es más confiable que intentar ajustes estadísticos.
  • Documentar lecciones aprendidas: actualizar el protocolo de piloto con controles adicionales para futuros experimentos.

Preguntas Frecuentes

¿Cuánta contaminación invalida un piloto de cobranza?

No existe un umbral universal, pero estudios de diseño experimental sugieren que contaminación superior al 10-15% de las unidades puede reducir la potencia estadística a niveles que hacen el piloto no concluyente. En cobranza, donde los márgenes de mejora esperados son 20-40% en tasa de contacto efectivo, incluso 5% de contaminación puede sesgar la decisión de inversión. Lo recomendable es mantener contaminación

¿Es posible corregir la contaminación con ajustes estadísticos después del piloto?

Los métodos de análisis de sensibilidad y variables instrumentales pueden estimar cotas del efecto real bajo ciertos supuestos de contaminación. Sin embargo, estos ajustes requieren conocer la magnitud exacta de la contaminación (cuántas cuentas, con qué intensidad) y añaden incertidumbre a las conclusiones. Para decisiones de cientos de miles de dólares en automatización, es más confiable prevenir la contaminación que intentar corregirla ex-post. Si ya se corrió un piloto contaminado, usar los resultados solo como exploración preliminar y repetir el piloto con diseño mejorado antes de escalar.

¿La aleatorización por clusters siempre evita la contaminación?

La aleatorización por clusters elimina la contaminación dentro de un cluster (ej. gestores de una sucursal no pueden contaminar cuentas de su mismo grupo de control porque no existe), pero no elimina el spillover entre clusters. Por ejemplo, si una sucursal A (tratamiento) comparte mejores prácticas con sucursal B (control) a través de llamadas corporativas o foros internos, persiste contaminación. Para evitar esto, los clusters deben ser lo más independientes posible: regiones geográficas distantes, unidades de negocio con poca interacción, o separación temporal estricta.

Integración con Procesos de Aprobación de Inversión

Para CFOs que evalúan la inversión en automatización de cobranza, el protocolo de detección de contaminación debe ser parte del caso de negocio presentado al comité de inversión:

  • Pre-aprobación del diseño experimental: antes de lanzar el piloto, documentar el método de aleatorización, las métricas de monitoreo de contaminación y los umbrales de decisión (ej. "pausar si >5% de cuentas contaminadas"). Esto genera confianza en que los resultados serán válidos.
  • Reportes intermedios con auditoría: durante el piloto, compartir dashboards que muestren no solo KPIs de recuperación sino también indicadores de integridad experimental (% de expedientes cruzados, cambios de política, etc.).
  • Análisis final con transparencia sobre limitaciones: al concluir el piloto, reportar cualquier contaminación detectada, cómo se manejó y el impacto estimado en las conclusiones. Un piloto con 2% de contaminación documentada y mitigada es más creíble que uno sin mención de este riesgo.

Recursos Adicionales

Para ampliar conocimientos sobre diseño experimental robusto en cobranza:

  • Ensayos aleatorizados por conglomerados: metodología ampliamente usada en salud pública, aplicable a pilotos de cobranza cuando la contaminación individual es inevitable.
  • Análisis de efectos de red en experimentos A/B: técnicas para cuantificar spillovers en plataformas digitales, adaptables a cobranza cuando deudores están interconectados (ej. empleados de una misma empresa).
  • Control de contaminación cruzada en laboratorios farmacéuticos: principios de diseño de instalaciones y auditoría de procesos que tienen paralelos directos con la segregación de sistemas en pilotos de cobranza.

Kleva ofrece agentes de voz con IA para cobranza que operan con telefónica propia, lo cual simplifica el aislamiento de tráfico entre grupos de control y tratamiento durante un piloto. El piloto de mil contactos se implementa en menos de cuatro semanas, incluyendo controles de segregación y auditoría para garantizar mediciones válidas del impacto.

Volver al índice ↑
FAQ

¿Tienes preguntas?

Seguir leyendo
Tu siguiente paso

Más tiempo para resolver. Menos llamadas pendientes.

Ve qué llamadas y seguimientos puedes delegar. Decide con tu equipo qué quieres mejorar y cómo medirlo.

Solicitar demo