Sie zeigen eine alte Version dieser Seite an. Zeigen Sie die aktuelle Version an.

Unterschiede anzeigen Seitenhistorie anzeigen

« Vorherige Version anzeigen Version 19 Nächste Version anzeigen »

  • Sie benötigen eine gültige FH-Benutzerkennung (z.B. ab123456).
  • Sie benötigen eine aktive Internetverbindung.​
  • Sie benötigen die Mitgliedschaft im LiteLLM Projekt im vRA
  • Sie müssen sich im FH-Netz befinden (VPN oder vor Ort im Eduroam)


Einleitung

Mit LiteLLM stellt die FH Münster einen zentralen Dienst bereit, über den verschiedene Sprachmodelle genutzt werden können. Der Zugriff erfolgt nicht direkt mit persönlichen Zugangsdaten, sondern über individuelle API-Schlüssel (LiteLLM Keys). 

Diese Schlüssel ermöglichen es, die bereitgestellten KI-Modelle einfach und sicher in eigenen Anwendungen, Skripten oder Tools einzubinden. Durch die Verwendung von API-Keys wird die Handhabung für Nutzerinnen und Nutzer erleichtert und gleichzeitig ein sicherer Zugang gewährleistet.


Wofür werden LiteLLM Keys benötigt?

LiteLLM Keys werden verwendet, um:

  • KI-Modelle per API (z. B. mit Python, cURL oder Postman) ansprechen zu können

  • Anfragen sicher zu authentifizieren, ohne zentrale Zugangsdaten verwenden zu müssen

  • Eigene Anwendungen oder Workflows mit Sprachmodellen zu verbinden – etwa in Forschungsprojekten, Skripten oder Automatisierungen

Ein gültiger API-Key ist die Voraussetzung, um Anfragen an den LiteLLM-Dienst zu stellen.

01. Anfrage eines LiteLLM Schlüssels


  • Navigieren Sie zu https://vra02.vmware.fh-muenster.de/ und loggen sich mit Ihrer FH-Kennung und dem zugehörigen Passwort ein.
  • Klicken Sie im Service Broker auf "Consume", tippen Sie im Suchfeld "LiteLLM" ein und bestätigen die Eingabe mit drücken der Enter-Taste. Klicken Sie anschließend unter "LiteLLM" auf "Request".




  • Klicken Sie auf "Submit".


Das Deployment läuft jetzt automatisch. Sie erhalten nach wenigen Sekunden eine Email mit dem generierten Schlüssel. Diesen können Sie jetzt, solange Sie sich im Netz der FH Münster befinden, verwenden.


02. Day 2 ActionsBudget abfragen

02a. Budgetabfrage

Um Ihre aktuellen Budgetinformationen abzufragen (Maximalbudget und bisheriger Verbrauch) können Sie eine Funktion im vRA benutzen. Aktuell bekommt jeder neue Nutzer ein Budget von 30 USD.


  • Gehen Sie im Service Broker auf "Deployments", öffnen die Detailansicht Ihres LiteLLM-Deployments und öffnen das Meatballmenü neben "litellmParent".
  • Hier können Sie jetzt die Funktion "Budgetabfrage" auswählen. Zukünftig hinzugefügte Funktionen werden auch hier zu finden sein.




  • Bestätigen Sie die Sicherheitsabfrage mit "Submit"


Sie erhalten daraufhin eine Email mit Ihren aktuellen Budgetinformationen.



02b. Budget erweitern

Falls Ihr Initialbudget erschöpft ist können Sie eine Erweiterung des Budgets beantragen.


  • Gehen Sie im Service Broker auf "Deployments", öffnen die Detailansicht Ihres LiteLLM-Deployments und öffnen das Meatballmenü neben "litellmParent".
  • Hier können Sie jetzt die Funktion "Budget erweitern" auswählen. 




  • Geben Sie das gewünschte Budget in USD an und bestätigen mit einem Klick auf "Submit".


Ihr Antrag wird dann automatisch an die DVZ geschickt. Sobald der Antrag genehmigt wird, wird die Budgeterweiterung automatisch ausgeführt und Sie bekommen eine Benachrichtigung per Email.

03. API-Informationen und Beispiele


  • Navigieren Sie zu https://litellm.fh-muenster.de/
  • In der Swagger UI können Sie die möglichen Endpunkte einsehen und Details zu der jeweiligen Nutzung einsehen.
  • Wenn Sie gewisse Endpunkte testen möchten, können Sie sich unter "Authorize" mit ihrem LiteLLM Key authorisieren. Sie sind als Nutzer nicht für alle Endpunkte authorisiert. Im Folgenden zeige ich Ihnen welche für Sie von Interesse sein könnten.


03a. Liste aller über LiteLLM verfügbaren Modelle


  • Wenn Sie sich oben Authentifiziert haben, können Sie unter "/models" den "Try it out" Knopf anklicken.




  • Passen Sie ggf. noch Paramter an. Falls Sie einfach alle Modelle sehen möchten können Sie diese ignorieren und direkt auf "Execute" klicken




  • Sie sehen anschließend den curl API-Call und die response.


curl https://litellm.fh-muenster.de/v1/models -H "Authorization: Bearer sk-..."
  • Alternativ können Sie diesen API Call nutzen. Ersetzen Sie "sk-..." mit ihrem persönlichen LiteLLM-Key


03b) Chat completion Prompts


  • Prompts an die verschiedenen LLM Modelle machen Sie an den Endpunkt: /v1/chat/completions





Hier ein beispielhafter API Call:

curl https://litellm.fh-muenster.de/v1/chat/completions \
  -H "Authorization: Bearer sk-..." \
  -H "Content-Type: application/json" \
  -d '{ "model": "azure/gpt-5", "messages": [ {"role": "user", "content": "Was ist der Sinn des Lebens?"} ] }'

Hier zu beachten:

  • Ersetzen Sie „sk-...“ durch Ihren persönlichen LiteLLM-API-Key.
  • Ersetzen Sie "azure/gpt-5" durch das gewünschte Modell
  • Ersetzen Sie "Was ist der Sinn des Lebens?" durch Ihren gewünschten Prompt


Kosten & Budget

Aktuell befindet sich das Projekt noch in der Testphase - daher gibt es noch kein konkretes Budgetmodell. Während der Testphase bekommt jeder Nutzer erstmal ein 30$ Budget. Die Kosten per Token hängen vom Modell ab - die Nutzung der GWDG-Modelle ist komplett kostenfrei und belasten Ihr Budget nicht.


Feedback

Feedback, Änderungswünsche und feature requests gerne per Mail an: it-support@fh-muenster.de


  • Keine Stichwörter