Los agentes de investigación necesitan
espacio para seguir trabajando.

Un agente espera buscadores, descarga páginas y extrae texto antes de responder. Para mantener la capacidad de respuesta hay que cuidar la ejecución alrededor de cada llamada al modelo.

Hablar de su sistema

Por · . Basado en el trabajo anterior de Sourish en Agentic Private Markets. Fue experiencia laboral, no un encargo ni un respaldo a Meld Origins.

Una función asíncrona
también puede bloquear.

Un asistente investiga empresas con solicitudes asíncronas, pero pasa cada respuesta a un extractor síncrono. Mientras este se ejecuta en el hilo del bucle de eventos, las demás tareas esperan.

Más solicitudes simultáneas no eliminan el cuello de botella y pueden aumentar la cola. Declarar async permite cooperar entre tareas, pero no traslada automáticamente cada operación a otro worker.

El trabajo de implementación
detrás de la lección.

En Agentic Private Markets, Sourish contribuyó a sacar la extracción síncrona del hilo de eventos, reutilizar clientes HTTP y limitar tareas externas con controles de concurrencia y tiempos máximos.

Esta nota explica decisiones generales mediante un proceso ficticio. No publica código, configuración de proveedores, límites ni mediciones de rendimiento del empleador.

Tratar la descarga y
la extracción por separado.

Reutilizar conexiones de red

Un cliente HTTP asíncrono con alcance definido reutiliza conexiones. Crear uno por elemento pierde esa ventaja y complica la limpieza. Asigne un propietario y cierre el cliente cuando termine.

Sacar la extracción bloqueante del bucle

Un ejecutor evita que una llamada síncrona monopolice el bucle. Mejora la respuesta, sin prometer acelerar Python intensivo en CPU. Mida el extractor y valore procesos o un servicio independiente si procede.

Limitar todo el flujo

Limite descargas y extracciones activas y no programe infinitas tareas esperando un semáforo. Una cola limitada hace visible el trabajo pendiente. Conexiones, cuotas, memoria y ejecutores determinan la concurrencia razonable.

Una fuente lenta debe
tener un resultado definido.

Asigne un plazo a cada fuente dentro del presupuesto total. Distinga páginas inaccesibles, contenido incompatible, errores de extracción y fuentes válidas sin pruebas relevantes. Así la síntesis describe lo encontrado.

Las fuentes independientes pueden aportar resultados parciales. Las tareas dependientes necesitan otra política: un requisito ausente puede invalidar el análisis posterior. Decida según la tarea, no continuando ante cualquier excepción.

Los reintentos deben respetar al proveedor y el presupuesto global. Cancele trabajo innecesario y libere respuestas y recursos. Cancelar una tarea en espera no detiene necesariamente una función síncrona en otro hilo; limite también su duración.

Mantener la respuesta vinculada
a las pruebas.

Recopilar más rápido solo ayuda si la respuesta sigue siendo verificable. Conserve URL y resultados, distinga hechos de inferencias y muestre pruebas ausentes. Una descarga fallida no demuestra inexistencia.

Evalúe páginas cortas, documentos grandes, fuentes lentas y errores. Mida espera, descarga, extracción, respuesta del bucle, tiempos y memoria. Compare la misma carga antes y después, sin deducir mejoras solo por usar concurrencia.

Una prueba útil combina una fuente lenta, una extracción fallida y una fuente correcta. Verifique presupuesto, conservación de pruebas si se permiten resultados parciales y que no se afirme haber revisado todo. Son recomendaciones, no resultados del empleador.

CONTACTO

Cuéntenos qué necesita resolver.

Una primera conversación útil empieza por el proceso, las limitaciones y los criterios de éxito.

Hagámoslo realidad.

Comparta una breve descripción. Sourish responderá personalmente para hablar del alcance, la viabilidad y un primer hito adecuado.

support@meldorigins.com ↗

Las reuniones del proyecto y la comunicación durante el desarrollo se realizan en inglés.

Para: Meld OriginsConsulta de proyecto ↗

Abre su aplicación de correo con estos datos. También puede escribirnos directamente.