Mit LiteLLM stellt die FH Münster einen zentralen Dienst bereit, über den verschiedene Sprachmodelle genutzt werden können. Der Zugriff erfolgt nicht direkt mit persönlichen Zugangsdaten, sondern über individuelle API-Schlüssel (LiteLLM Keys).
Diese Schlüssel ermöglichen es, die bereitgestellten KI-Modelle einfach und sicher in eigenen Anwendungen, Skripten oder Tools einzubinden. Durch die Verwendung von API-Keys wird die Handhabung für Nutzerinnen und Nutzer erleichtert und gleichzeitig ein sicherer Zugang gewährleistet.
LiteLLM Keys werden verwendet, um:
KI-Modelle per API (z. B. mit Python, cURL oder Postman) ansprechen zu können
Anfragen sicher zu authentifizieren, ohne zentrale Zugangsdaten verwenden zu müssen
Eigene Anwendungen oder Workflows mit Sprachmodellen zu verbinden – etwa in Forschungsprojekten, Skripten oder Automatisierungen
Ein gültiger API-Key ist die Voraussetzung, um Anfragen an den LiteLLM-Dienst zu stellen.
Alle über LiteLLM verfügbaren Modelle (inkl. Kosten) sind hier abrufbar: https://litellm-models.fh-muenster.de/ (GWDG-Modelle sind kostenfrei)
Das Deployment läuft jetzt automatisch. Sie erhalten nach wenigen Sekunden eine Email mit dem generierten Schlüssel. Diesen können Sie jetzt, solange Sie sich im Netz der FH Münster befinden, verwenden. Geben Sie diesen Schlüssel nicht an Andere weiter.
Um Ihre aktuellen Budgetinformationen abzufragen (Maximalbudget und bisheriger Verbrauch) können Sie eine Funktion im vRA benutzen. Aktuell bekommt jeder neue Nutzer ein Budget von 30 USD.
Sie erhalten daraufhin eine Email mit Ihren aktuellen Budgetinformationen.
Falls Ihr Initialbudget erschöpft ist können Sie eine Erweiterung des Budgets beantragen.
Ihr Antrag wird dann automatisch an die DVZ geschickt. Sobald der Antrag genehmigt wird, wird die Budgeterweiterung automatisch ausgeführt und Sie bekommen eine Benachrichtigung per Email.
Hier ein beispielhafter API Call:
curl https://litellm.fh-muenster.de/v1/chat/completions \
-H "Authorization: Bearer sk-..." \
-H "Content-Type: application/json" \
-d '{ "model": "azure/gpt-5", "messages": [ {"role": "user", "content": "Was ist der Sinn des Lebens?"} ] }' |
Beispiel für Audio-Transkriptionsmodelle:
curl --location 'https://litellm.fh-muenster.de/v1/audio/transcriptions' --header 'Authorization: Bearer sk-...' --form 'file=@"/home/FHID/filename.mp3"' --form 'model="NOT-EU-azure/gpt-4o-transcribe"' |
Hier zu beachten:
Aktuell befindet sich das Projekt noch in der Testphase - daher gibt es noch kein konkretes Budgetmodell. Während der Testphase bekommt jeder Nutzer erstmal ein 30$ Budget. Die Kosten per Token hängen vom Modell ab - die Nutzung der GWDG-Modelle ist komplett kostenfrei und belasten Ihr Budget nicht.
Feedback, Änderungswünsche und feature requests gerne per Mail an: it-support@fh-muenster.de