Les agents de recherche ont besoin
de pouvoir continuer à travailler.

Un agent de recherche attend des moteurs, récupère des pages et extrait du texte avant de répondre. Pour rester réactif, il faut soigner le chemin d’exécution autour de chaque appel au modèle.

Discuter de votre système

Par · . Inspiré de l’expérience de Sourish chez Agentic Private Markets. Il s’agissait d’un emploi antérieur, et non d’une mission client ou d’une recommandation de Meld Origins.

Une fonction asynchrone
peut malgré tout bloquer.

Un assistant étudie plusieurs entreprises. Les requêtes réseau sont asynchrones, mais chaque réponse passe immédiatement dans un extracteur synchrone. Pendant son exécution sur le thread de la boucle événementielle, les autres tâches attendent.

Ajouter des requêtes concurrentes ne supprime pas ce goulot et peut accumuler les réponses en attente. La déclaration async décrit la coopération avec les autres tâches ; elle ne déplace pas automatiquement chaque opération vers un worker.

Les travaux d’implémentation
à l’origine de cet enseignement.

Chez Agentic Private Markets, Sourish a contribué à sortir l’extraction synchrone du thread événementiel, à réutiliser les clients HTTP et à encadrer les opérations externes avec des limites de concurrence et des délais.

Cette note explique les choix généraux à partir d’un workflow fictif. Elle ne publie ni le code, ni la configuration des fournisseurs, ni les limites de requêtes, ni les mesures de performance de l’employeur.

Traiter la récupération et
l’extraction séparément.

Réutiliser les connexions réseau

Un client HTTP asynchrone bien délimité réutilise les connexions du pool. Créer un client par élément empêche cela et complique le nettoyage. Désigner un propriétaire et fermer le client à la fin de son travail.

Sortir l’extraction bloquante de la boucle

Un exécuteur empêche un appel synchrone de monopoliser le thread événementiel. Il préserve la réactivité sans promettre d’accélérer du Python gourmand en calcul. Profiler l’extracteur et envisager des processus ou un service worker séparé si nécessaire.

Limiter l’ensemble du pipeline

Limiter les récupérations et extractions actives, sans planifier une infinité de tâches attendant un sémaphore. Une file bornée rend le travail en attente explicite. Le pool de connexions, les quotas, la mémoire et l’exécuteur limitent la concurrence raisonnable.

Une source lente doit avoir
une issue claire.

Donner à chaque source une échéance dans le budget global. Distinguer page indisponible, format non pris en charge, erreur d’extraction et source consultée sans preuve pertinente. La synthèse pourra ainsi décrire ce qui a réellement été trouvé.

Des sources indépendantes peuvent souvent fournir des résultats partiels si l’une échoue. Un travail dépendant demande une autre règle : un prérequis manquant peut invalider l’analyse suivante. Décider selon la tâche, sans considérer chaque exception comme une autorisation de poursuivre.

Les nouvelles tentatives respectent les consignes du fournisseur et le même budget global. Annuler le travail inutile et libérer les réponses réseau et ressources. Annuler une tâche en attente n’arrête pas nécessairement une fonction synchrone déjà lancée dans un thread ; borner aussi sa durée de vie.

Relier la réponse
aux éléments vérifiés.

Collecter plus vite n’est utile que si la réponse reste traçable. Transmettre les URL et les résultats d’extraction à la synthèse, distinguer faits et déductions, et signaler les preuves manquantes. Un échec de récupération ne prouve pas l’inexistence d’un élément.

Évaluer avec pages courtes, grands documents, sources lentes et erreurs. Observer attente, récupération, extraction, réactivité, délais et mémoire. Comparer la même charge avant et après une modification au lieu de déduire un gain de la seule concurrence.

Un test utile combine une source lente, une extraction échouée et une source réussie. Vérifier le budget, la conservation des preuves si les résultats partiels sont permis et l’absence d’affirmation que toutes les sources ont été vérifiées. Ce sont des évaluations recommandées, non des résultats de l’employeur.

CONTACT

Dites-nous ce qui doit fonctionner.

Une première discussion utile commence par le processus, les contraintes et vos critères de réussite.

Passons à la réalisation.

Envoyez-nous un bref descriptif. Sourish vous répondra directement pour discuter du périmètre, de la faisabilité et d’un premier jalon pertinent.

support@meldorigins.com ↗

Les réunions de projet et les échanges pendant la réalisation se déroulent en anglais.

À : Meld OriginsDemande de projet ↗

Ouvre votre messagerie avec ces informations. Vous pouvez aussi nous écrire directement.