Los agentes de investigación necesitan
espacio para seguir trabajando.
Un agente espera buscadores, descarga páginas y extrae texto antes de responder. Para mantener la capacidad de respuesta hay que cuidar la ejecución alrededor de cada llamada al modelo.
Hablar de su sistemaPor Sourish Sarmah · . Basado en el trabajo anterior de Sourish en Agentic Private Markets. Fue experiencia laboral, no un encargo ni un respaldo a Meld Origins.
Una función asíncrona
también puede bloquear.
Un asistente investiga empresas con solicitudes asíncronas, pero pasa cada respuesta a un extractor síncrono. Mientras este se ejecuta en el hilo del bucle de eventos, las demás tareas esperan.
Más solicitudes simultáneas no eliminan el cuello de botella y pueden aumentar la cola. Declarar async permite cooperar entre tareas, pero no traslada automáticamente cada operación a otro worker.
El trabajo de implementación
detrás de la lección.
En Agentic Private Markets, Sourish contribuyó a sacar la extracción síncrona del hilo de eventos, reutilizar clientes HTTP y limitar tareas externas con controles de concurrencia y tiempos máximos.
Esta nota explica decisiones generales mediante un proceso ficticio. No publica código, configuración de proveedores, límites ni mediciones de rendimiento del empleador.
Tratar la descarga y
la extracción por separado.
Reutilizar conexiones de red
Un cliente HTTP asíncrono con alcance definido reutiliza conexiones. Crear uno por elemento pierde esa ventaja y complica la limpieza. Asigne un propietario y cierre el cliente cuando termine.
Sacar la extracción bloqueante del bucle
Un ejecutor evita que una llamada síncrona monopolice el bucle. Mejora la respuesta, sin prometer acelerar Python intensivo en CPU. Mida el extractor y valore procesos o un servicio independiente si procede.
Limitar todo el flujo
Limite descargas y extracciones activas y no programe infinitas tareas esperando un semáforo. Una cola limitada hace visible el trabajo pendiente. Conexiones, cuotas, memoria y ejecutores determinan la concurrencia razonable.
Una fuente lenta debe
tener un resultado definido.
Asigne un plazo a cada fuente dentro del presupuesto total. Distinga páginas inaccesibles, contenido incompatible, errores de extracción y fuentes válidas sin pruebas relevantes. Así la síntesis describe lo encontrado.
Las fuentes independientes pueden aportar resultados parciales. Las tareas dependientes necesitan otra política: un requisito ausente puede invalidar el análisis posterior. Decida según la tarea, no continuando ante cualquier excepción.
Los reintentos deben respetar al proveedor y el presupuesto global. Cancele trabajo innecesario y libere respuestas y recursos. Cancelar una tarea en espera no detiene necesariamente una función síncrona en otro hilo; limite también su duración.
Mantener la respuesta vinculada
a las pruebas.
Recopilar más rápido solo ayuda si la respuesta sigue siendo verificable. Conserve URL y resultados, distinga hechos de inferencias y muestre pruebas ausentes. Una descarga fallida no demuestra inexistencia.
Evalúe páginas cortas, documentos grandes, fuentes lentas y errores. Mida espera, descarga, extracción, respuesta del bucle, tiempos y memoria. Compare la misma carga antes y después, sin deducir mejoras solo por usar concurrencia.
Una prueba útil combina una fuente lenta, una extracción fallida y una fuente correcta. Verifique presupuesto, conservación de pruebas si se permiten resultados parciales y que no se afirme haber revisado todo. Son recomendaciones, no resultados del empleador.
Trabajo relacionado
y referencias.
Para otro límite de recuperación, consulte qué ocurre tras fallar una consulta generada por IA.
- Python: planificación, cancelación y tareas bloqueantes en hilos
- HTTPX: clientes asíncronos y reutilización de conexiones
- HTTPX: tiempos de conexión, lectura, escritura y pool
¿Planea un asistente de investigación o conectar un agente con sistemas externos? Explorar implementación de agentes IA o hablar de su proceso.
