Tack för att du skickade din fråga! En av våra teammedlemmar kontaktar dig snart.
Tack för att du skickade din bokning! En av våra teammedlemmar kontaktar dig snart.
Varaktighet 14 timmar
Kursplan
Introduktion till multimodala LLM:er i Vertex AI
- Översikt över multimodala funktioner i Vertex AI
- Gemini-modeller och supporterade modaliteter
- Användningsfall i företag och forskning
Att ställa in utvecklingsmiljön
- Konfiguration av Vertex AI för multimodala flöden
- Arbete med datasets över olika modaliteter
- Hands-on-laboration: miljöinrättning och förberedelse av datasets
Långa kontextfönster och avancerat resonemang
- Förståelse av flöden med lång kontext
- Användningsfall inom planering och beslutsfattande
- Hands-on-laboration: implementation av analys med lång kontext
Design av cross-modala flöden
- Kombinera analys av text, ljud och bilder
- Koppla ihop multimodala steg i flöden
- Hands-on-laboration: designa ett multimodalt flöde
Att arbeta med Gemini API-parametrar
- Konfigurera multimodala indata och utdata
- Optimera inferens och effektivitet
- Hands-on-laboration: justera Gemini API-parametrar
Avancerade tillämpningar och integrationer
- Interaktiva multimodala agenter och assistenter
- Integrera externa API:er och verktyg
- Hands-on-laboration: bygga en multimodal applikation
Utvärdering och iteration
- Testa multimodal prestanda
- Mätetal för noggrannhet, jämvikt och drift
- Hands-on-laboration: utvärdera multimodala flöden
Sammanfattning och nästa steg
Krav
- Behärskning av Python-programmering
- Erfarenhet av utveckling av maskininlärningsmodeller
- Kännedom om multimodala data (text, ljud, bild)
Målgrupp
- AI-forskare
- Avancerade utvecklare
- ML-vetare
