Jan-Ole Finkeisen
Hallo Herr Finkeisen,
Sie hatten geschrieben, dass Sie derzeit mit einem Ollama-Connector als Alternative zu Gemini experimentieren.
Mich würde interessieren, wie diese Anbindung technisch geplant ist:
Soll tomedo die native Ollama-API verwenden, oder ist ein OpenAI-kompatibler Endpunkt mit frei konfigurierbarer Base-URL vorgesehen?
Kann die Praxis das lokal verwendete Modell selbst auswählen, oder wird tomedo bestimmte Modelle bzw. Modellanforderungen vorgeben?
Wir betreiben bereits einen vollständig lokalen llama.cpp-Server mit OpenAI-kompatibler API. Diesen nutzen wir unter anderem für eigene Anwendungen. Wenn tomedo einen frei konfigurierbaren OpenAI-kompatiblen Endpunkt ansprechen könnte, ließe sich der vorhandene Server vermutlich direkt weiterverwenden. Auch Ollama unterstützt diese API.
Wenn es nicht unbedingt notwendig ist, würde ich ungern zusätzlich Ollama als weitere Runtime zwischen tomedo und dem eigentlichen Modell betreiben. Ollama als offiziell getestete bzw. unterstützte Lösung wäre natürlich nachvollziehbar. Interessant wäre aber, ob alternativ auch andere OpenAI-kompatible lokale Server ohne offiziellen Support genutzt werden könnten.
Ist hierzu bereits absehbar, wie der Connector umgesetzt werden soll?
Viele Grüße
Andreas Jenke
