Les agents de recherche ont besoin
de pouvoir continuer à travailler.
Un agent de recherche attend des moteurs, récupère des pages et extrait du texte avant de répondre. Pour rester réactif, il faut soigner le chemin d’exécution autour de chaque appel au modèle.
Discuter de votre systèmePar Sourish Sarmah · . Inspiré de l’expérience de Sourish chez Agentic Private Markets. Il s’agissait d’un emploi antérieur, et non d’une mission client ou d’une recommandation de Meld Origins.
Une fonction asynchrone
peut malgré tout bloquer.
Un assistant étudie plusieurs entreprises. Les requêtes réseau sont asynchrones, mais chaque réponse passe immédiatement dans un extracteur synchrone. Pendant son exécution sur le thread de la boucle événementielle, les autres tâches attendent.
Ajouter des requêtes concurrentes ne supprime pas ce goulot et peut accumuler les réponses en attente. La déclaration async décrit la coopération avec les autres tâches ; elle ne déplace pas automatiquement chaque opération vers un worker.
Les travaux d’implémentation
à l’origine de cet enseignement.
Chez Agentic Private Markets, Sourish a contribué à sortir l’extraction synchrone du thread événementiel, à réutiliser les clients HTTP et à encadrer les opérations externes avec des limites de concurrence et des délais.
Cette note explique les choix généraux à partir d’un workflow fictif. Elle ne publie ni le code, ni la configuration des fournisseurs, ni les limites de requêtes, ni les mesures de performance de l’employeur.
Traiter la récupération et
l’extraction séparément.
Réutiliser les connexions réseau
Un client HTTP asynchrone bien délimité réutilise les connexions du pool. Créer un client par élément empêche cela et complique le nettoyage. Désigner un propriétaire et fermer le client à la fin de son travail.
Sortir l’extraction bloquante de la boucle
Un exécuteur empêche un appel synchrone de monopoliser le thread événementiel. Il préserve la réactivité sans promettre d’accélérer du Python gourmand en calcul. Profiler l’extracteur et envisager des processus ou un service worker séparé si nécessaire.
Limiter l’ensemble du pipeline
Limiter les récupérations et extractions actives, sans planifier une infinité de tâches attendant un sémaphore. Une file bornée rend le travail en attente explicite. Le pool de connexions, les quotas, la mémoire et l’exécuteur limitent la concurrence raisonnable.
Une source lente doit avoir
une issue claire.
Donner à chaque source une échéance dans le budget global. Distinguer page indisponible, format non pris en charge, erreur d’extraction et source consultée sans preuve pertinente. La synthèse pourra ainsi décrire ce qui a réellement été trouvé.
Des sources indépendantes peuvent souvent fournir des résultats partiels si l’une échoue. Un travail dépendant demande une autre règle : un prérequis manquant peut invalider l’analyse suivante. Décider selon la tâche, sans considérer chaque exception comme une autorisation de poursuivre.
Les nouvelles tentatives respectent les consignes du fournisseur et le même budget global. Annuler le travail inutile et libérer les réponses réseau et ressources. Annuler une tâche en attente n’arrête pas nécessairement une fonction synchrone déjà lancée dans un thread ; borner aussi sa durée de vie.
Relier la réponse
aux éléments vérifiés.
Collecter plus vite n’est utile que si la réponse reste traçable. Transmettre les URL et les résultats d’extraction à la synthèse, distinguer faits et déductions, et signaler les preuves manquantes. Un échec de récupération ne prouve pas l’inexistence d’un élément.
Évaluer avec pages courtes, grands documents, sources lentes et erreurs. Observer attente, récupération, extraction, réactivité, délais et mémoire. Comparer la même charge avant et après une modification au lieu de déduire un gain de la seule concurrence.
Un test utile combine une source lente, une extraction échouée et une source réussie. Vérifier le budget, la conservation des preuves si les résultats partiels sont permis et l’absence d’affirmation que toutes les sources ont été vérifiées. Ce sont des évaluations recommandées, non des résultats de l’employeur.
Travaux connexes
et références.
Pour une autre limite de reprise, consultez ce qui se passe après l’échec d’une requête générée par IA.
- Python : planification, annulation et opérations bloquantes dans des threads
- HTTPX : clients asynchrones et réutilisation des connexions
- HTTPX : délais de connexion, lecture, écriture et pool
Vous préparez un assistant de recherche ou reliez un agent à des systèmes externes ? Découvrir l’implémentation d’agents IA ou discuter de votre workflow.
