Over Ons

Huub is een platform waarmee wij specifieke bedrijfsprocessen volledig automatiseren door AI slim in te zetten. Wij werken met een lean team van tech-professionals en subject matter experts om deze functionaliteiten te ontwikkelen en uit te rollen in de markt. Ben jij op zoek naar een plek waar jij kunt werken aan concrete oplossingen voor urgente problemen, en mag werken met bleeding edge technology? Dan is Huub wellicht een plek voor jou.

Functieomschrijving

Als LLM Ops Engineer ben je verantwoordelijk voor het monitoren, benchmarken en optimaliseren van AI-modellen in productie. Je ontwikkelt en onderhoudt observability- en monitoringtools, voert prestatieanalyses uit en ondersteunt de integratie van LLM-functionaliteiten binnen applicaties. Daarnaast werk je aan workflow-optimalisatie met frameworks zoals LangChain, LangSmith en LangGraph en zorg je voor kostenoptimalisatie van AI-processen.

Je speelt een sleutelrol in het waarborgen van de betrouwbaarheid, efficiëntie en prestaties van LLM-oplossingen en werkt nauw samen met AI Engineers en andere specialisten om continue verbeteringen door te voeren.

Verantwoordelijkheden

Benchmarking & Observability

• Integreren van ML workflow software zoals MLflow voor het tracken en benchmarken van modelprestaties.
• Implementeren van monitoring- en observability tools om drift, latency en fouten in LLMs te detecteren.
• Data logging en analyse voor continue modeloptimalisatie.

Analytics & Reporting

• Verder ontwikkelen en beheren van analytics-dashboards voor AI-performance monitoring.
• Uitvoeren van benchmarkrapportages en analyses om AI-modellen te vergelijken en optimaliseren.
• Monitoren van tokengebruik en AI-processen om kosten te optimaliseren.
• Analyseren van trends en afwijkingen in AI-prestaties en aanbevelingen doen voor verbeteringen.
• Samenwerken met AI Engineers en LLM Ops Engineers om inzichten om te zetten in optimalisaties.

LLM Integraties & Frameworks

• Werken met Langchain, Langsmith en Langgraph voor workflow- en chain-optimalisatie.
• Integreren van LLM-functionaliteiten in bestaande en nieuwe applicaties.
• Ondersteunen van teams bij het implementeren van best practices in LLM Ops.

Vereisten

• Aantoonbare ervaring met de nieuwste AI technologieën en manieren van werken.
• HBO/WO-diploma in Computer Science, AI, Data Engineering of een gerelateerd vakgebied.
• Bekend met CI/CD pipelines en tools zoals ZenML, MLflow en cloud-native DevOps tools.
• Ervaring met monitoring- en observability-oplossingen voor machine learning-modellen.
• Sterke programmeervaardigheden in Python en ervaring met API-integraties.
• Kennis van cloudplatforms zoals AWS, GCP of Azure.

Gewenste Kwalificaties (Pré)

• Ervaring met Langchain, Langsmith, Langgraph is een pré.

Wat Wij Bieden

Huub opereert als een lean tech startup. Wij zoeken autonome self-starters die op zoek zijn naar pragmatische antwoorden op complexe technologie vraagstukken. Hierbij geven we jou de vrijheid je expertise verder te ontwikkelen en een platform om jouw oplossingen realiteit te kunnen maken.Wij bieden een marktconform salaris, aangevuld met een aandelenparticipatie.

Hoe Te Solliciteren Stuur je CV en motivatiebrief naar [email protected] 

Zonder brief en CV wordt er niet gereageerd.