Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Kursplan
Grundläggande Mastra-felsökning och utvärdering
- Förståelse av agentbeteendemodeller och feltyper
- Kärnprinciper för felsökning inom Mastra
- Utvärdering av deterministiska och icke-deterministiska agentåtgärder
Inställning av miljöer för agenttestning
- Konfiguration av test-sandboxes och isolerade utvärderingsutrymmen
- Insamling av loggar, spårningar och telemetri för detaljerad analys
- Förberedande datamängder och frågor för strukturerade tester
Felsökning av AI-agentbeteende
- Spårning av beslutsbanor och interna resonemangssignaler
- Identifiering av hallucinationer, fel och oönskat beteende
- Användning av observabilitetspaneler för rotorsaksanalys
Utvärderingsmått och benchmark-ramverk
- Definiering av kvantitativa och kvalitativa utvärderingsmått
- Mätning av noggrannhet, konsekvens och sammanhangsrikt beteende
- Tillämpning av benchmark-databaser för återkommande utvärderingar
Pålitlighetsingenjörskonst för AI-agenter
- Utformning av pålitlighetstester för långvariga agenter
- Identifiering av utveckling och nedgång i agentprestanda
- Implementering av säkerhetsgarantier för kritiska arbetsflöden
Kvalitetsgarantiprocesser och automatisering
- Bygga QA-pipeliner för kontinuerlig utvärdering
- Automatisera regressionstester för agentuppdateringar
- Integrering av QA med CI/CD och företagsarbetsflöden
Avancerade tekniker för hallucinationminskning
- Promptstrategier för att minska oönskade utdata
- Valideringslopp och självkontrollmekanismer
- Experiment med modellkombinationer för att förbättra pålitligheten
Rapportering, övervakning och kontinuerlig utveckling
- Utveckla QA-rapporter och agentscorekort
- Övervaka långsiktigt beteende och felmönster
- Iterera på utvärderingsramverk för evolvande system
Sammanfattning och nästa steg
Krav
- Förståelse för AI-agentbeteende och modellinteraktioner
- Erfarenhet av felsökning eller testning av komplexa programvarusystem
- Kännedom om observabilitets- eller loggverktyg
Målgrupp
- QA-mästare
- AI-pålitlighetsmästare
- Utvecklare som är ansvariga för agentkvalitet och prestanda
21 timmar
