Encontrada no significa citada: comparación de fuentes en ChatGPT
La respuesta mediana por prompt registró 20 hosts encontrados y cinco enlazados; solo el 23,8% de los encontrados quedó vinculado en el resumen principal.
Una fuente registrada como encontrada para una respuesta de ChatGPT no es automáticamente una cita explícita. En 522 respuestas elegibles con los dos objetos de telemetría presentes, la mediana entre prompts de la proporción mediana de hosts encontrados que quedaron enlazados fue del 23,8%. La respuesta mediana por prompt tenía 20 hosts encontrados y cinco vinculados.
El resultado está condicionado a respuestas con al menos un host tanto en detected_urls como en el cite_map explícito. Un mapa ausente se trató como telemetría no disponible, no como cero citas. La distinción es esencial: un panel que denomine “citada” a toda URL detectada puede exagerar la atribución observable.
La comparación principal
| Resumen por prompt | Mediana | Rango intercuartílico |
|---|---|---|
| Hosts encontrados por respuesta | 20 | 16–22 |
| Hosts enlazados explícitamente | 5 | 4–5 |
| Proporción de encontrados enlazados | 23,8% | 20,0%–26,2% |
Para cada pregunta, el estudio calculó la mediana de las respuestas y después resumió las 64 medianas de prompt. Así se evita que las preguntas con más ejecuciones definan el resultado. En los 522 pares a nivel de respuesta, el Jaccard mediano entre conjuntos encontrados y enlazados también fue del 23,8%, con un rango del 18,8% al 28,6%.
Tras canonicalizar, ninguna respuesta elegible contenía un host en el mapa de citas que no estuviera también en su conjunto detectado. El control respalda la interpretación de las citas explícitas como subconjunto del objeto amplio en esta integración y periodo congelado.
Dos campos de fuente, dos preguntas
detected_urls aportó el conjunto amplio de hosts recuperados o registrados alrededor de la respuesta. response_json.cite_map[].u aportó los hosts conectados explícitamente con un fragmento dentro de la salida estructurada. Ambos se convirtieron en hosts canónicos y se deduplicaron por respuesta.
El campo amplio responde a “¿qué hosts registró la integración alrededor de esta respuesta?”. El explícito ayuda a responder “¿qué hosts quedaron vinculados a un fragmento en la estructura de atribución disponible?”. Ninguno demuestra por sí solo qué vio cada usuario en una interfaz concreta de ChatGPT.
Usar la misma etiqueta para ambos produce error de medición. Un equipo puede celebrar un aumento de “citas” cuando solo creció el campo de descubrimiento, o clasificar un mapa ausente como cero y comunicar una caída provocada por cobertura de telemetría. Un esquema robusto separa los objetos y mide la disponibilidad del campo como indicador de calidad.
Cómo se seleccionó la cohorte
El corte quedó congelado el 21 de julio de 2026 a las 18:00 UTC. Tras retirar demos, ejecuciones incompletas, respuestas vacías y errores, 1.043 respuestas válidas de ChatGPT tenían al menos un host detectado. De ellas, 554 contenían también al menos un host en el mapa explícito.
La cohorte principal exigió cinco observaciones con los dos conjuntos no vacíos para cada prompt. El filtro produjo 522 respuestas, 64 prompts, diez proyectos y siete cuentas. Las observaciones abarcan desde el 13 de julio a las 07:45:45 UTC hasta el 21 a las 15:50:03 UTC. Se superaron todos los gates de cobertura y privacidad.
El 23,8% no es, por tanto, una tasa incondicional sobre las 1.043 respuestas con fuentes. Describe medianas de prompt donde ambos campos eran medibles con suficiente frecuencia. Extenderlo a respuestas sin mapa requeriría una suposición que los datos no respaldan.
Cómo se calculó la proporción enlazada
En una respuesta elegible, llamemos F al conjunto de hosts encontrados y C al de hosts enlazados. La proporción es |F ∩ C| / |F|. Como todos los hosts del mapa estaban dentro del conjunto encontrado tras normalizar, el numerador equivalió al tamaño de C en esta cohorte.
Imaginemos una respuesta con 20 hosts detectados y cinco enlazados. La proporción es 5 dividido entre 20: un 25%. No significa que los otros 15 fueran irrelevantes, que los cinco se mostraran igual ni que alguno causara la redacción. Solo clasifica su relación registrada.
El cálculo se realizó para cada respuesta, se tomó la mediana dentro de cada prompt y se informaron mediana y cuartiles de las preguntas. La jerarquía conserva el inventario de prompts como unidad de interpretación y reduce la distorsión por frecuencias desiguales.
Por qué telemetría ausente no es cero
Un cero numérico significa que se observó el campo y no contenía elementos coincidentes. Ausente significa que el campo necesario no estaba disponible. Mezclarlos cambia denominadores y crea comparaciones falsas entre motores, periodos o versiones de la integración.
En la cohorte, 1.043 respuestas tenían fuentes detectadas, pero solo 554 un mapa no vacío antes de exigir cinco por prompt. Asignar cero al resto combinaría comportamiento de fuentes y cobertura del mapa. Una versión que modificara la salida estructurada movería la métrica aunque la atribución visible permaneciera igual.
Todo informe debería mostrar tres cifras: respuestas válidas, respuestas con el objeto amplio y respuestas con atribución explícita. El marco de métricas de visibilidad en IA aplica el mismo principio a menciones, errores y tráfico.
Consecuencias para monitorizar fuentes
Primero, hay que elegir la medida que corresponda a la decisión. Para auditar dominios atribuidos a afirmaciones, se necesita un campo de cita explícita y declarar sus límites de interfaz. Para estudiar el conjunto amplio de recuperación, se usa el campo detectado sin llamar cita a cada host.
Segundo, cuando las reglas de privacidad lo permitan, conviene conservar URL de página además del host. El nivel de host es estable para agregados, pero agrupa páginas diferentes. Una página puede detectarse mientras otra del mismo dominio queda enlazada.
Tercero, hay que repetir. La mediana de cinco hosts enlazados no es una asignación fija. Los conjuntos cambian y una ejecución no determina recurrencia. El seguimiento de fuentes debe acompañarse de un inventario estable y del proceso para monitorizar menciones.
Cuarto, se revisan ejemplos bajo acceso controlado. Los agregados localizan prompts con proporciones anómalas. Una persona autorizada puede comprobar si la diferencia se debe al formato, la telemetría, la deduplicación o una atribución realmente distinta.
Un modelo de datos limpio
- answer_status: válida, vacía, error o no disponible.
- detected_source_urls: URL amplias con procedencia de recogida.
- explicit_citation_urls: URL conectadas con fragmentos por la estructura.
- normalized_host: valor derivado con reglas documentadas.
- telemetry_available: estado de disponibilidad para cada campo.
- engine y surface: contexto de producto de la observación.
- claves de prompt y ejecución: soporte para análisis repetido y emparejado.
Conservar campos originales y derivados permite reproducir. Si cambia la normalización, se recalcula sin perder las URL. Si el proveedor modifica el mapa, se anota una ruptura de calidad en vez de reescribir el histórico silenciosamente.
Qué no puede establecer el estudio
El mapa registrado no garantiza que cada host enlazado se mostrara igual en todas las interfaces. La superficie, el renderizado y el contexto pueden diferir de la estructura almacenada. El trabajo no inspeccionó capturas ni sesiones individuales.
El solapamiento tampoco mide uso causal. Una fuente puede recuperarse o enlazarse sin ser decisiva y una respuesta puede reflejar información aprendida en otro lugar. No permite ordenar calidad, exactitud, autoridad, tráfico ni influencia sobre la generación.
La cohorte es condicional y no representa el mercado. Usa prompts, proyectos y cuentas elegibles de Bee LLM hasta un corte. Otros idiomas, temas, versiones de ChatGPT, modos e integraciones pueden obtener ratios distintos.
Además, la mediana resume una distribución. Las proporciones por prompt fueron desde el 4,6% al 55,6%. El 23,8% es útil para la cohorte, pero una decisión concreta debe revisar el valor de su propio prompt.
Reproducibilidad e integridad
La extracción utilizó una transacción repetible y de solo lectura. El agregado conserva denominadores, cuartiles y controles sin exponer prompts, cuentas, proyectos ni hosts. Su SHA-256 es 232565ebb6d5246fd0a9d5b1d42fbceeee2264f024af859c83b6371c329641db; metodología, CSV y wrapper cuentan con sus propias sumas.
La conclusión defendible no es que ChatGPT “solo use cinco fuentes”. Es que, en 522 respuestas con ambos campos, la mediana por prompt registró un conjunto encontrado mucho más amplio que el subconjunto enlazado. Encontrada y citada responden a preguntas distintas y un sistema honesto debe mantenerlas separadas.
Preguntas frecuentes
¿Toda URL detectada para una respuesta de ChatGPT es una cita?
No. En este estudio, detected_urls es el conjunto amplio de fuentes registradas y cite_map contiene hosts enlazados explícitamente a fragmentos. Ambos campos deben permanecer separados.
¿Un mapa de citas vacío significa que ChatGPT no citó nada?
No en estos datos. Un cite_map vacío o ausente es telemetría de atribución no disponible, por lo que esas respuestas no recibieron cero citas y se excluyeron del cálculo condicional.
¿El 23,8% se aplica a todas las respuestas de ChatGPT?
No. Es la mediana de 64 medianas por prompt en una cohorte congelada con ambos campos presentes. Otros prompts, integraciones, periodos e interfaces pueden producir resultados distintos.
