Por qué una sola respuesta de IA no mide la visibilidad

Una sola respuesta generada no mide de forma fiable la visibilidad de una marca. En observaciones repetidas de Bee LLM, la presencia textual cambió entre ejecuciones en el 60,6% de las celdas elegibles de ChatGPT, el 50,0% de Gemini y el 71,1% de Perplexity. La misma marca podía aparecer para un prompt en una respuesta y estar ausente en otra.

El hallazgo no significa que todas las respuestas sean aleatorias y “presencia” no equivale a recomendación. Demuestra que una comprobación binaria única puede clasificar mal un prompt variable. Medir visibilidad exige repeticiones, denominadores explícitos y distinguir entre una ausencia observada y evidencia de que la marca nunca aparece.

Qué cambió al repetir las respuestas

Una celda “variable” contenía al menos una respuesta con coincidencia textual de la marca propia y otra sin ella. ChatGPT tuvo un prompt siempre presente, 40 variables y 25 donde nunca apareció. Gemini registró cinco siempre presentes, 33 variables y 28 nunca presentes. Perplexity tuvo dos, 32 y 11, respectivamente.

Estos estados solo describen la cohorte y la ventana observadas. “Nunca” significa que no se detectó presencia en las respuestas válidas recogidas, no que el motor jamás pueda mencionar esa marca en el futuro o bajo otro contexto.

Cómo se definió la presencia

Presencia significó una coincidencia literal de palabra completa con un alias normalizado de la marca propia del proyecto dentro del texto de respuesta. Se descartaron alias de menos de cuatro caracteres para reducir ambigüedades. Los 11 proyectos tenían al menos un alias utilizable, por lo que ninguna respuesta que cumpliera el resto de condiciones se perdió por falta de cobertura.

Es una definición estrecha y auditable. No deduce una marca a partir de una descripción, logotipo, URL o pronombre. Tampoco decide si la mención fue positiva, negativa, prominente o una recomendación. Una frase crítica y otra que elija la marca como primera opción cuentan ambas como presencia textual.

Como control, la coincidencia textual estuvo de acuerdo con la tabla estructurada de menciones en el 99,1% de los registros de ChatGPT, el 95,6% de Gemini y el 98,5% de Perplexity. El acuerdo respalda el detector operativo, pero no crea un patrón oro humano ni amplía el alcance de la medida.

Cohorte congelada y unidad de análisis

El corte quedó fijado el 21 de julio de 2026 a las 18:00 UTC. Se excluyeron cuentas demo, ejecuciones incompletas, respuestas vacías y respuestas con error. Una celda prompt-motor necesitaba al menos cinco respuestas válidas. Los tres cortes superaron los gates de diez ejecuciones, cinco prompts, tres proyectos y tres cuentas.

La unidad atómica fue una observación prompt-motor-ejecución con presencia binaria. El prompt actuó como clúster principal. Las tasas e intervalos Wilson del 95% se calcularon por prompt, en lugar de tratar todas las filas como observaciones de mercado independientes.

La cohorte mezcla las preguntas utilizadas por los proyectos elegibles de Bee LLM, con tipos de consulta diferentes. No es una muestra aleatoria de demanda. Por eso el estudio informa de variabilidad dentro de la cohorte y no convierte la presencia media en cuota de mercado.

El riesgo de falsa ausencia en una ejecución

Para ilustrar el problema, el análisis consideró solo celdas donde la marca apareció al menos una vez. En cada celda utilizó la tasa empírica p. Bajo el cálculo descriptivo, la probabilidad de no ver presencia en k comprobaciones es (1-p)^k. Después se resumieron las celdas sin presentar el resultado como previsión.

Con una comprobación, la probabilidad media de observar solo ausencias fue del 68,1% en celdas de ChatGPT donde alguna vez hubo presencia, el 51,7% en Gemini y el 49,0% en Perplexity. Con cinco bajó al 34,1%, 22,3% y 13,2%. Con diez, los valores descriptivos fueron 20,0%, 12,1% y 5,1%.

La simulación realizó 100.000 extracciones con semillas fijas como control y reprodujo de cerca los valores analíticos. Eso no convierte las tasas observadas en probabilidades estables del motor. Las respuestas pueden ser dependientes, el comportamiento cambia con el tiempo y la propia tasa empírica tiene incertidumbre.

Un ejemplo de interpretación

Imaginemos una marca presente en tres de diez respuestas válidas para un prompt. Una persona revisa una sola y encuentra ausencia. La observación es correcta para esa ejecución, pero afirmar “la marca no es visible para este prompt” excede la evidencia. La frase defendible es “la marca estuvo ausente en una respuesta observada”.

Si se recogen cinco respuestas y la presencia aparece en dos, el resultado pasa a ser una tasa muestral de dos sobre cinco, todavía con un intervalo amplio. No estima todas las experiencias, pero informa más que una etiqueta binaria. Repetir el inventario más adelante permite comprobar si cambió la distribución o si la primera ejecución fue atípica.

La disciplina también es lingüística: conviene hablar de “presencia observada”, “tasa de mención en la muestra” y “respuestas válidas”. Expresiones como “el motor nos posiciona”, “somos invisibles” o “tenemos un 30% de visibilidad” requieren una unidad y un denominador que realmente las sostengan.

¿Cuántas repeticiones son suficientes?

No existe un mínimo universal que estabilice todos los prompts. El diseño adecuado depende de la decisión, la variabilidad, el coste y la incertidumbre aceptable. Un monitor semanal orientativo puede usar menos repeticiones y más prompts; una investigación sobre una pregunta de alto valor puede requerir más repeticiones y revisión cualitativa.

El primer paso es fijar la precisión. Para distinguir una presencia del 10% frente al 50%, unas pocas ejecuciones ya aportan señal. Para detectar un movimiento pequeño se necesita una muestra mayor y ventanas comparables. Hay que publicar intervalos de confianza y fallos de recogida junto al punto estimado.

La distribución también importa. Diez repeticiones de una sola pregunta no compensan ignorar el recorrido del comprador. Hay que equilibrar prompts de problema, categoría, comparación y selección, y repetir dentro de cada segmento. La guía para monitorizar menciones de marca en IA explica cómo gestionar alias e inventarios.

Flujo defendible de muestreo

1. Define la decisión. Indica si el programa mide descubrimiento, comparación, representación o exposición de fuentes.
2. Congela prompts y condiciones. Guarda texto exacto, motor, idioma, ubicación, modo y momento.
3. Repite las observaciones. Usa una cadencia documentada y no selecciones solo ejecuciones que muestran la marca.
4. Separa fallos de ausencia. Una respuesta vacía o con error pertenece a cobertura, no al denominador de visibilidad.
5. Empareja alias con prudencia. Revisa nombres comunes y alias cortos para detectar falsos positivos.
6. Agrega dentro del prompt. Calcula tasas e intervalos antes de unir segmentos o motores.
7. Lee ejemplos. La presencia no revela si la representación es útil, exacta o negativa.

El marco de métricas y KPIs de visibilidad coloca la presencia muestral junto a prominencia, citas, sentimiento y tráfico. Ninguna puntuación compuesta debería borrar el número de respuestas ni convertir observaciones ausentes en ausencia de marca.

Qué no demuestra el estudio

Las tasas variables no establecen su causa. Las diferencias pueden acompañar al muestreo del modelo, resultados de búsqueda, contexto, cambios del proveedor u otras condiciones no observadas. El trabajo no manipula esos factores y no puede atribuir causalidad.

Presencia no es calidad de recomendación. Una coincidencia puede aparecer en una advertencia, comparación, referencia negativa o frase factual. Los equipos deben leer el contexto antes de decidir si más presencia es deseable o si hace falta corregir contenido.

El ejercicio de falsa ausencia está condicionado a celdas donde hubo presencia al menos una vez. Excluye deliberadamente las siempre ausentes y no representa la posibilidad de que cualquier marca aleatoria sea omitida. Usa tasas del mismo conjunto y solo ilustra el riesgo de muestreo.

Por último, los proyectos y prompts de Bee LLM no son una muestra probabilística del mercado. Los números describen la cohorte congelada hasta el corte. Otros sectores, idiomas, marcas, superficies y versiones futuras pueden presentar una variabilidad distinta.

Evidencia y reproducibilidad

La extracción se ejecutó en una transacción repetible y de solo lectura. Alias, marcas y textos permanecieron en memoria remota. Metodología, wrapper, CSV y agregado están protegidos por hashes. El JSON utilizado tiene SHA-256 d8fde95893ef3830920e6c114cf827a8d9306223bfce9ce34fce2a3cb28b0a87.

La conclusión es operativa: una respuesta documenta lo ocurrido una vez, pero no mide por sí sola una distribución. En esta cohorte, la mitad o más de las celdas elegibles de cada motor mostró presencia variable. Un muestreo repetido y transparente convierte esa volatilidad, antes oculta, en algo que el equipo puede cuantificar y gestionar.