Onderzoeksagents hebben
ruimte nodig om door te werken.
Een onderzoeksagent wacht op zoekdiensten, haalt pagina’s op en extraheert tekst voordat hij antwoordt. Responsiviteit vraagt aandacht voor de uitvoering rond elke modelaanroep.
Bespreek uw systeemDoor Sourish Sarmah · . Gebaseerd op Sourishs eerdere werk bij Agentic Private Markets. Dit was werkervaring in loondienst, geen opdracht voor of aanbeveling van Meld Origins.
Een async-functie
kan nog steeds blokkeren.
Een assistent onderzoekt meerdere bedrijven. Netwerkverzoeken zijn asynchroon, maar elk antwoord gaat direct naar een synchrone documentextractor. Terwijl die op de eventloopthread draait, moeten andere taken wachten.
Meer gelijktijdige verzoeken lossen dit knelpunt niet op en kunnen de wachtrij vergroten. De async-declaratie beschrijft samenwerking met andere taken; niet elke bewerking verhuist automatisch naar een aparte worker.
Het implementatiewerk
achter deze les.
Bij Agentic Private Markets droeg Sourish bij aan het verplaatsen van synchrone extractie buiten de eventloopthread, hergebruik van HTTP-clients en begrenzing van extern werk met gelijktijdigheidslimieten en time-outs.
Dit artikel legt de algemene keuzes uit aan de hand van een fictieve onderzoeksworkflow. Het bevat geen broncode, providerconfiguratie, verzoeklimieten of prestatiemetingen van de werkgever.
Behandel ophalen en
extractie afzonderlijk.
Hergebruik netwerkverbindingen
Een afgebakende asynchrone HTTP-client kan poolverbindingen hergebruiken. Een nieuwe client per item mist die kans en maakt opruimen lastiger. Wijs een eigenaar aan en sluit de client zodra diens werk eindigt.
Haal blokkerende extractie uit de eventloop
Een workerexecutor voorkomt dat een synchrone bibliotheekaanroep de eventloopthread bezet houdt. Dat houdt de loop responsief, maar belooft geen versnelling van CPU-zware Python-code. Profileer de extractor en overweeg processen of een aparte workerservice wanneer nodig.
Begrens de hele pijplijn
Beperk actieve ophaal- en extractietaken en plan niet onbeperkt taken die op een semafoor wachten. Een begrensde wachtrij maakt werk zichtbaar. Poollimieten, providerquota, geheugen en executorcapaciteit bepalen een passende gelijktijdigheid.
Een trage bron verdient
een duidelijke uitkomst.
Geef elke bron een deadline binnen het totale onderzoeksbudget. Onderscheid onbereikbare pagina’s, niet-ondersteunde inhoud, extractiefouten en geslaagde bronnen zonder relevant bewijs. Zo kan de synthese juist beschrijven wat gevonden is.
Onafhankelijke bronnen kunnen vaak deelresultaten leveren als één bron faalt. Afhankelijk werk vraagt ander beleid: een ontbrekende voorwaarde kan vervolganalyse ongeldig maken. Laat de onderzoekstaak bepalen of doorgaan zinvol is.
Laat herhaalpogingen providerinstructies volgen en hetzelfde totaalbudget gebruiken. Annuleer overbodig werk en ruim netwerkresponses en resources op. Annulering van een wachtende taak stopt een synchrone functie in een thread niet altijd; begrens ook dat werk en zijn levensduur.
Houd het antwoord gekoppeld
aan het bewijs.
Sneller verzamelen helpt alleen als het antwoord herleidbaar blijft. Neem bron-URL’s en extractieresultaten mee, onderscheid feiten van gevolgtrekkingen en toon ontbrekend bewijs. Een mislukte ophaalpoging bewijst niet dat iets niet bestaat.
Evalueer met korte pagina’s, grote documenten, trage bronnen en fouten. Meet wachttijd, ophalen, extractie, eventloopresponsiviteit, time-outs en geheugen. Vergelijk dezelfde werklast vóór en na een wijziging; gelijktijdigheid alleen bewijst geen versnelling.
Een nuttige fouttest combineert een trage bron, een extractiefout en een succesvolle bron. Controleer budget, beschikbaar bewijs bij toegestane deelresultaten en dat het antwoord niet beweert elke bron te hebben bekeken. Dit zijn aanbevelingen, geen resultaten van een werkgeverssysteem.
Verwant werk
en bronnen.
Lees voor een andere herstelgrens wat er gebeurt na een mislukte AI-databasequery.
- Python: taakplanning, annulering en blokkerend werk in threads
- HTTPX: asynchrone clients en hergebruik van verbindingen
- HTTPX: time-outs voor verbinding, lezen, schrijven en pool
Plant u een onderzoeksassistent of koppelt u een agent aan externe systemen? Ontdek de implementatie van AI-agents of bespreek uw workflow.
