So nutzen Sie Ollama Online in DEVONthink

In DEVONthink und DEVONthink To Go können Sie nicht nur serverbasierte, sondern auch lokale KI nutzen. Welche Modelle Sie dabei verwenden können, hängt allerdings stark von Ihrer Hardware ab. Kleinere Modelle sind weniger zuverlässig, größere Modelle schnell zu rechenintensiv für viele Geräte.

Der Anbieter Ollama, mit dem Sie KI-Modelle lokal auf Ihrem Mac nutzen können, bietet nun auch einige Online-Modelle (Cloud Models) an, die auf dessen Servern laufen. Sie können z. B. Modelle wie Mistral-large-4:675b mit 675 Milliarden (!) Parametern nutzen. In unseren Tests waren einige dieser Modelle sehr leistungsfähig und konnten mit kommerziellen Modellen mithalten. Um solche Ollama-Modelle in den höheren Editionen von DEVONthink zu nutzen, machen Sie Folgendes:

1. Erstellen Sie sich ein Benutzerkonto bei Ollama.com.
2. Klicken Sie auf Keys, dann auf Add API Key. Geben Sie einen Namen ein, um den API-Key zuordnen zu können, z. B. Ollama Online, und drücken Sie Generate API Key. Speichern Sie den erstellten API-Schlüssel an einem sicheren Ort, denn Sie können ihn nicht nochmal kopieren!
3. Laden Sie die Ollama-App herunter, falls Sie diese noch nicht installiert haben.
4. Starten Sie die App, machen Sie einen Control-Klick auf das Symbol in der Menüleiste und öffnen Sie die Einstellungen (Settings). Melden Sie sich dort in Ihrem Ollama-Konto an. Sie können sich auch den öffentlichen Schlüssel (Public Key) speichern, den Sie erhalten, müssen das aber nicht zwingend machen.
5. Öffnen Sie die Einstellungen > KI von DEVONthink und wählen Sie Ollama (Online) als Anbieter.
6. Kopieren Sie Ihren erstellten API-Schlüssel und fügen Sie ihn in das Feld API Key ein.
7. In das Feld API URL schreiben Sie https://ollama.com/api/chat. Nun sollten Sie im Pop-up-Menü Modelle zwischen verschiedenen Modellen wählen können.

Um Ollama (Online) in DEVONthink To Go zu nutzen, führen Sie die Schritte 5–7 in den Einstellungen > KI der App aus.

Bei Interesse bietet Ollama auch kostenpflichtige Dienste für den Zugriff auf weitere Modelle an. Beachten Sie, dass die KI-Modelle unterschiedliche Fähigkeiten haben. Manche Modelle können vielleicht „Dokumente lesen“ und ein Markdown-Dokument mit einer Antwort erstellen, aber nicht alle können das. Wir haben keine Kontrolle darüber, was sie können und was nicht. Testen Sie das Modell bzw. die Modelle einfach, die Sie verwenden möchten, und machen Sie sich mit ihnen vertraut.

💬 Diskutieren Sie diesen Artikel in unserem Anwenderforum.