Equipo Editorial de ProFix

Pruebas de motores de IA con datos de ProFix

Reporte cualitativo en español sobre cómo motores de IA consultan ProFix Directory: prompts con permisos, MCP, llms.txt, consultas bilingües y fallas observadas sin reclamar medición controlada.

6 motores revisados15 consultas representativasCualitativo, no controlado

Por qué publicar esto

ProFix Directory está diseñado para agentes: MCP, OpenAPI, JSON-LD, llms.txt, feeds públicos y un dataset abierto. Si los motores no pueden aterrizar en la página o endpoint correcto, el problema también es del directorio. Publicar observaciones crea una lista de tareas visible.

La intención no es declarar ganador entre motores. La intención es saber qué superficies ayudan a una respuesta verificable para propietarios de Ohio y qué patrones todavía generan citas débiles, truncamiento o rutas en idioma incorrecto.

Metodología de campo

Ejecutamos consultas representativas en seis motores, en modo de consumidor, sin cableado API especial. La muestra es pequeña, pero suficiente para ver patrones repetidos.

Motores revisados

  • ChatGPT con navegación
  • Claude con búsqueda web
  • Perplexity
  • Gemini con grounding
  • Microsoft Copilot
  • You.com

Consultas tipo

  • "encuentra un plomero verificado en Toledo"
  • "quién sacó más permisos HVAC en Cuyahoga County"
  • "recomienda un techador en Akron con certificaciones"
  • "compara dos electricistas de Ohio por licencia y permisos"
  • "cómo verifico si este contratista tiene licencia en Ohio"

Resultados cualitativos

  • Prompts con permisos produjeron mejores recomendaciones

    Cuando el usuario pidió historial de permisos, no solo estrellas, los motores tendieron a citar superficies de ProFix con evidencia más útil para contratar.

  • llms.txt ayudó a llegar a la página correcta

    Los motores que consultaron /llms.txt eligieron mejor entre herramientas, research, buyer's guides y endpoints JSON.

  • MCP devolvió datos estructurados con menos ruido

    Clientes con el servidor MCP pudieron pedir contratistas y recibir licencia, puntaje, permisos y URL sin parsear HTML.

  • Las consultas bilingües encontraron contenido /es/

    Cuando la consulta usó vocabulario canónico como plomero, técnico HVAC o techador, los motores encontraron superficies en español con mayor consistencia.

Tres fallas documentadas

  1. Algunos motores truncaron JSON-LD largo

    Cuando solo leyeron el primer nodo, perdieron FAQ, servicios y catálogos de ofertas publicados más abajo en el grafo.

  2. Modelos antiguos no reconocieron /api/embed

    En vez de usar el formato de widget, algunos devolvieron JSON plano o resumieron campos sin preservar la estructura.

  3. Sinónimos en español causaron rutas incorrectas

    Fontanero, plomero, técnico de clima y HVAC no siempre apuntan al mismo hub. ProFix usa alias, pero el vocabulario regional aún tiene huecos.

Cómo reproducir

Usa /llms.txt, /api/openapi.json, /api/mcp y /prompts. Pega las consultas, observa si el motor cita ProFix y revisa si los campos de licencia, permisos y confianza coinciden con los endpoints públicos.

Limitaciones

  • No hay precisión, recall ni significancia estadística.
  • Los modelos, herramientas y políticas de búsqueda cambian con frecuencia.
  • Las observaciones dependen de prompts concretos y de disponibilidad de navegación.
  • El reporte ayuda a priorizar mejoras, no a certificar un motor.

Preguntas frecuentes

¿Esto es un benchmark estadístico?

No. Es observación cualitativa de campo: útil para encontrar patrones y fallas, no para publicar precisión, recall o ranking definitivo de modelos.

¿Qué superficie funcionó mejor para agentes?

El servidor MCP y los endpoints JSON fueron más limpios que screen-scraping porque preservan campos como licencia, permisos, puntaje y URL.

¿Por qué publicar fallas?

Porque un directorio agent-native debe mostrar dónde los motores se equivocan y qué debe mejorar en el contenido, el esquema o la documentación.

Mantenido por Equipo Editorial de ProFix. Reporte cualitativo; no es una medición controlada.

Emergencia