Researchagenter behöver
utrymme att fortsätta arbeta.
En researchagent kan vänta på söktjänster, hämta sidor och extrahera dokumenttext före sitt svar. Responsivitet kräver omsorg om körningen runt varje modellanrop.
Diskutera ert systemAv Sourish Sarmah · . Baserat på Sourishs tidigare arbete på Agentic Private Markets. Detta var anställningserfarenhet, inte ett kunduppdrag eller en rekommendation för Meld Origins.
En asynkron funktion
kan ändå blockera.
Tänk på en assistent som undersöker företag. Nätverksanrop är asynkrona men varje svar går direkt till en synkron dokumentextraktor. Medan den körs i händelseloopens tråd får andra uppgifter vänta.
Fler samtidiga anrop tar inte bort flaskhalsen och kan skapa en större kö. Async-deklarationen beskriver samarbete mellan uppgifter; den flyttar inte automatiskt varje operation till en egen worker.
Implementationsarbetet
bakom lärdomen.
På Agentic Private Markets bidrog Sourish till att flytta synkron extraktion från händelseloopens tråd, återanvända HTTP-klienter och begränsa externt arbete med samtidighetskontroller och timeout.
Artikeln förklarar allmänna beslut genom ett fiktivt researchflöde. Den publicerar inte arbetsgivarens kod, leverantörsinställningar, anropsgränser eller prestandamätningar.
Behandla hämtning och
extraktion separat.
Återanvänd nätverksanslutningar
En avgränsad asynkron HTTP-klient kan återanvända poolade anslutningar. En ny klient per objekt förlorar den möjligheten och komplicerar städningen. Ge klienten en tydlig ägare och stäng den när arbetet är klart.
Flytta blockerande extraktion från loopen
En worker-executor hindrar synkrona biblioteksanrop från att blockera händelseloopen. Det bevarar responsivitet men lovar inte snabbare CPU-tung Python-kod. Profilera extraktorn och överväg processer eller separat worker-tjänst vid behov.
Begränsa hela kedjan
Begränsa aktiva hämtningar och extraktioner och schemalägg inte obegränsat många uppgifter som väntar på en semafor. En begränsad kö synliggör väntande arbete. Anslutningspool, kvoter, minne och executor-kapacitet begränsar lämplig samtidighet.
En långsam källa ska
ge ett tydligt utfall.
Ge varje källa en tidsgräns inom totalbudgeten. Skilj otillgänglig sida, innehåll som inte stöds, extraktionsfel och lyckad källa utan relevanta belägg. Det hjälper syntesen att beskriva vad som faktiskt hittades.
Oberoende källor kan ofta ge delresultat när en misslyckas. Beroende arbete kräver andra regler: en saknad förutsättning kan göra analysen ogiltig. Låt uppgiften avgöra, inte en generell regel att fortsätta efter varje fel.
Återförsök ska följa leverantörens råd och samma totalbudget. Avbryt arbete som inte behövs och frigör nätverkssvar och resurser. Avbruten väntan stoppar inte säkert en synkron funktion som redan körs i en tråd; avgränsa även dess livstid.
Knyt svaret
till underlaget.
Snabbare insamling hjälper bara när svaret är spårbart. Ta med källadresser och extraktionsutfall, skilj fakta från slutsatser och visa saknat underlag. En misslyckad hämtning bevisar inte att något saknas.
Utvärdera korta sidor, stora dokument, långsamma källor och felsvar. Mät kötid, hämtning, extraktion, loopens responsivitet, timeout och minne. Jämför samma last före och efter ändringar i stället för att anta förbättring av samtidighet ensam.
Ett bra feltest kombinerar en långsam källa, ett extraktionsfel och en lyckad källa. Kontrollera budget, bevarat underlag när delresultat tillåts och att svaret inte antyder att alla källor kontrollerats. Detta är rekommendationer, inte arbetsgivarens resultat.
Relaterat arbete
och referenser.
För en annan återhämtningsgräns, läs vad som händer när en AI-genererad databasfråga misslyckas.
- Python: schemaläggning, avbrott och blockerande arbete i trådar
- HTTPX: asynkrona klienter och återanvändning av anslutningar
- HTTPX: timeout för anslutning, läsning, skrivning och pool
Planerar ni en researchassistent eller ansluter en agent till externa system? Utforska implementation av AI-agenter eller diskutera ert arbetsflöde.
