Karlsruhe Institute of Technology 
Eggenstein-Leopoldshafen, Germany Language notice
This opportunity appears to be published in German. Because the offer is written in a local language, please check the official posting carefully to understand whether German proficiency is expected for this position.
Offer Summary
The Karlsruhe Institute of Technology’s Scientific Computing Center (SCC) seeks a Software Developer for its AI‑Toolbox project. The role involves designing, building, and maintaining a cloud‑native, Kubernetes‑based platform that hosts and serves AI models for KIT staff and students. Responsibilities include developing middleware, APIs, and governance solutions, automating resource management, and integrating LLMs, RAG, and vector databases. Candidates should hold a master’s degree in computer science or related fields, be proficient in Python, TypeScript/JavaScript, and have experience with Docker, Helm, Kubernetes, and cloud technologies. Strong communication skills in German and English, agile development experience, and knowledge of federated identity systems are required.
Generated from stored offer content. Always confirm details in the official posting.
Project Description
Das Scientific Computing Center (SCC) ist der zentrale IT-Dienstleister des Karlsruher Instituts für Technologie (KIT) und betreibt u. a. die KI-Toolbox, eine Plattform zur Nutzung von Künstlicher Intelligenz (KI) für KIT-Mitarbeitende und -Studierende mit lokalen und extern KI-Modellen. Die Abteilung Campus and Cloud Applications (CCA) verantwortet den Betrieb und die Weiterentwicklung der KI-Toolbox.
Neugierig auf eine aufregende und vielseitige Rolle in einem agilen Team? Entdecken Sie mehr über SCC als Ihren beruflichen Place to be: KIT - SCC - Über uns - Arbeiten am SCC
Your tasks
Im Rahmen des länderübergreifenden Verbundprojekts COSAI – Collaboration on Sovereign and efficient AI-Infrastructure – baut das SCC die KI-Toolbox weiter aus und gestaltet gemeinsam mit sechs weiteren Universitäten aus Baden-Württemberg, Bayern und Nordrhein-Westfalen eine souveräne KI-Infrastruktur.
Zu Ihrem neuen Aufgabengebiet zählen:
- Wissenschaftliche Konzeption, Entwicklung und wissenschaftliche Weiterentwicklung einer modernen Plattform für die Bereitstellung, Verwaltung und Nutzung von KI-Modellen in Forschung und Wissenschaft.
- Aufbau und Betrieb skalierbarer KI-Infrastrukturen und Services auf Cloud- und Kubernetes-Basis, einschließlich Automatisierung, Ressourcenmanagement und Integration von KI-Diensten.
- Mitwirkung an der Entwicklung von Middleware-, Schnittstellen- und Governance-Lösungen für einen sicheren, effizienten und souveränen Einsatz von KI-Technologien.
- Wissenschaftliche Weiterentwicklung der KI-Toolbox des KIT nach aktuellen Standards sowie Zusammenarbeit mit Hochschulen, Rechenzentren und KI-Serviceeinrichtungen in nationalen Forschungsnetzwerken.
- Unterstützung bei der wissenschaftlichen Dokumentation, Berichterstattung und Präsentation von Projektergebnissen.
Your profile
Sie bringen mit:
- Abgeschlossenes Hochschulstudium (Masterniveau) der Informatik, Mathematik, Physik, Elektrotechnik o.ä. bzw. eines vergleichbaren Studiengangs
- Sehr gute Kenntnisse in modernen Programmiersprachen (v.a. Python, TypeScript/JavaScript) sowie Erfahrung mit Web-Entwicklung (Frontend/Backend, REST-APIs, Microservices)
- Erfahrung mit Kubernetes, Docker/Container, Helm-Charts und Cloud-nativen Technologien und Kenntnisse im Betrieb von KI-Modellen/LLMs, Inference Engines (z.B. vLLM), RAG und Vektordatenbanken
- Erfahrung mit HPC-/GPU-Umgebungen von Vorteil
- Kenntnisse in Open-Source-Technologien (OpenAI-kompatible APIs, Modell-Registries, Observability-Stacks wie Prometheus/Grafana)
- Erfahrung mit föderierten Authentifizierungs-/Identity-Management-Systemen (AAI, SAML/OIDC) von Vorteil
- Kenntnisse in Scrum/agiler Softwareentwicklung und Versionsverwaltung (Git)
- Sehr gute Kommunikations- und Kooperationsfähigkeit für die Zusammenarbeit in einem länderübergreifenden Verbundprojekt sowie eine hohe Eigeninitiative, Selbstorganisation und analytisches Denkvermögen
- Teamfähigkeit und interdisziplinäre Arbeitsweise und Sorgfalt, Zuverlässigkeit und eine strukturierte Arbeitsweise
- Sehr gute Deutsch- und Englischkenntnisse in Wort und Schrift
- Fähigkeit zum Wissenstransfer und zur Dokumentation komplexer technischer Zusammenhänge