Ollama – Ваша собственная модель

Наткнулся тут на одну интересную нейросеть. Вы наверное слышали про ламу. Говорят, что её можно установить на компьютер и каким-то образом её можно обучать. Будем разбираться.

1. Скачиваем приложение отсюда: https://ollama.com
2. Устанавливаем.
   Установка прошла успешно за исключением одной неожиданной детали: установщик не дал возможности выбрать место установки и вкорячил её на C: что меня немного расстроило, ибо заняло всё это добро 2Гб, при этом, мне все-же хочется хранить модели на другом диске.
3. Запускаем cmd и далее запускаем ламу следующей командой:
   ollama run llama3
   Если вы запускаете её впервые, то сначала она скачает модель и сразу запустится.
4. Устанавливаем Anythingllm – https://anythingllm.com/
   Проходим онбординг и выбираем из списка ламу моделей
5. Пользуемся.
   

Если видите такое:
C:\Users\Vatoko>ollama run llama3
Error: Post “http://127.0.0.1:11434/api/show”: dial tcp 127.0.0.1:11434: connectex: No connection could be made because the target machine actively refused it.
Значит моделька уже запущена или запущена какая-то другая, выгрузите Stable Diffusion ))

Дополнительно:

1. Выгружаем ламу из трея
2. Добавляем переменные в User Variables
   Локальный доступ. пригодится для построения AI агентов:
   Variable: OLLAMA_HOST
   Value: 0.0.0.0.9117
   Это адрес, по которому вы получаете доступ к модели с других компьютеров сети
   Хранение моделей в кастомной дирректории
   Variable: OLLAMA_MODELS
   Value: F:\Ollama\models
   А сюда мы будем сохранять модели. на наш SSD-шничек с модельками )
   Переменные лежат здесь: В My computer -> Settings -> Advanced System Settings -> Environment Variables
   Подробная инструкция
3. Скачиваем и устанавливаем Docker – https://www.docker.com/
4. Запускаем докер, регистрируемся. Бывает что докер не запускается в первого раза. Тогда полностью выгружаем его и запускаем снова.
5. В командную строку вводим следующий код код:
   docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
   и скачиваем интерфейс
   При необходимости, код для различных вариантов установки берем отсюда: Open WebUI – https://docs.openwebui.com/