he4et/oddsquat
1
0
Fork 0
mirror of https://github.com/He4eT/oddsquat.git synced 2026-05-04 20:37:22 +00:00
Code Issues Projects Releases Packages Wiki Activity

posts: selfhosted_llm: fixup

Browse source
This commit is contained in:
He4eT 2024-01-17 14:03:27 +01:00
commit f3d55e77eb
1 changed files with 2 additions and 2 deletions
Download patch file Download diff file Expand all files Collapse all files

4
src/pages/posts/2024/selfhosted_llm.md
View file

@ -298,7 +298,7 @@ docker run --net=host diy-ollama-proxy
Для обновления и удаления моделей можно использовать команды `pull` и `rm`: Для обновления и удаления моделей можно использовать команды `pull` и `rm`:
``` ```
docker exec -it ollama ollama pull mixtral docker exec -it ollama ollama pull mixtral
docker exec -it ollama ollama rm mistral docker exec -it ollama ollama rm mistral
``` ```
Я знаю, что для обновления и удаления docker-образов и docker-контейнеров тоже есть специальные команды (это тоже `pull` и `rm`), но каждый раз ленюсь в этом разобраться, просто сношу всё с помощью утилиты [sen](https://github.com/TomasTomecek/sen) и разворачиваю нужное заново. Я знаю, что для обновления и удаления docker-образов и docker-контейнеров тоже есть специальные команды (это тоже `pull` и `rm`), но каждый раз ленюсь в этом разобраться, просто сношу всё с помощью утилиты [sen](https://github.com/TomasTomecek/sen) и разворачиваю нужное заново.
@ -319,7 +319,7 @@ docker exec -it ollama ollama rm mistral
## Зачем всё это нужно? ## Зачем всё это нужно?
Конечно, GhatGPT умнее и&nbsp;умеет из&nbsp;коробки гораздо больше.<br> Конечно, ChatGPT умнее и&nbsp;умеет из&nbsp;коробки гораздо больше.<br>
Конечно, ChatGPT требует меньше телодвижений для использования.<br> Конечно, ChatGPT требует меньше телодвижений для использования.<br>
Конечно, самые умные модели требуют внушительных ресурсов, ведь для запуска нашумевшей [mixtral](https://ollama.ai/library/mixtral) или аналогичной модели нужно иметь 48&nbsp;Gb&nbsp;оперативной памяти.<br> Конечно, самые умные модели требуют внушительных ресурсов, ведь для запуска нашумевшей [mixtral](https://ollama.ai/library/mixtral) или аналогичной модели нужно иметь 48&nbsp;Gb&nbsp;оперативной памяти.<br>
Кончено, сидя в&nbsp;кафе задать вопрос Bard от&nbsp;Google гораздо проще, чем достучаться до&nbsp;модели в&nbsp;закрытом ноутбуке, который остался дома.<br> Кончено, сидя в&nbsp;кафе задать вопрос Bard от&nbsp;Google гораздо проще, чем достучаться до&nbsp;модели в&nbsp;закрытом ноутбуке, который остался дома.<br>