Ollama – Ваша собственная модель

Наткнулся тут на одну интересную нейросеть. Вы наверное слышали про ламу. Говорят, что её можно установить на компьютер и каким-то образом её можно обучать. Будем разбираться.

  1. Скачиваем приложение отсюда: https://ollama.com
  2. Устанавливаем.
    Установка прошла успешно за исключением одной неожиданной детали: установщик не дал возможности выбрать место установки и вкорячил её на C: что меня немного расстроило, ибо заняло всё это добро 2Гб, при этом, мне все-же хочется хранить модели на другом диске.
  3. Запускаем cmd и далее запускаем ламу следующей командой:
    ollama run llama3
    Если вы запускаете её впервые, то сначала она скачает модель и сразу запустится.
  4. Устанавливаем Anythingllm – https://anythingllm.com/
    Проходим онбординг и выбираем из списка ламу моделей
  5. Пользуемся.

Если видите такое:
C:\Users\Vatoko>ollama run llama3
Error: Post “http://127.0.0.1:11434/api/show”: dial tcp 127.0.0.1:11434: connectex: No connection could be made because the target machine actively refused it.

Значит моделька уже запущена или запущена какая-то другая, выгрузите Stable Diffusion ))

Дополнительно:

  1. Выгружаем ламу из трея
  2. Добавляем переменные в User Variables
    Локальный доступ. пригодится для построения AI агентов:
    Variable: OLLAMA_HOST
    Value: 0.0.0.0.9117
    Это адрес, по которому вы получаете доступ к модели с других компьютеров сети
    Хранение моделей в кастомной дирректории
    Variable: OLLAMA_MODELS
    Value: F:\Ollama\models
    А сюда мы будем сохранять модели. на наш SSD-шничек с модельками )
    Переменные лежат здесь: В My computer -> Settings -> Advanced System Settings -> Environment Variables
    Подробная инструкция
  3. Скачиваем и устанавливаем Docker – https://www.docker.com/
  4. Запускаем докер, регистрируемся. Бывает что докер не запускается в первого раза. Тогда полностью выгружаем его и запускаем снова.
  5. В командную строку вводим следующий код код:
    docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
    и скачиваем интерфейс
    При необходимости, код для различных вариантов установки берем отсюда: Open WebUI – https://docs.openwebui.com/

Anton Derbushev
Anton Derbushev
Articles: 11

Leave a Reply

Your email address will not be published. Required fields are marked *