From aec28eca914603ba83604779a3df5d599d9f998e Mon Sep 17 00:00:00 2001 From: He4eT Date: Wed, 17 Jan 2024 13:39:46 +0100 Subject: [PATCH] posts: selfhosted_llm: cleanup --- src/pages/posts/2024/selfhosted_llm.md | 7 +++---- 1 file changed, 3 insertions(+), 4 deletions(-) diff --git a/src/pages/posts/2024/selfhosted_llm.md b/src/pages/posts/2024/selfhosted_llm.md index 3ca7783..43af51d 100644 --- a/src/pages/posts/2024/selfhosted_llm.md +++ b/src/pages/posts/2024/selfhosted_llm.md @@ -57,7 +57,7 @@ description: 'Персональная LLM в docker-контейнере на ### Установка Ollama -Для создания и первого запуска контейнера нужно выполнить команду: +Для создания и первого запуска контейнера нужно выполнить команду: ``` docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` @@ -213,8 +213,7 @@ pip install litellm litellm --model ollama/mistral --api_base http://ollama.internal:11434 --drop_params ``` -Для сборки и запуска docker-контейнера -Собрать и запустить docker-контейнер можно с помощью этих двух команд. +Собрать и запустить docker-контейнер можно с помощью этих двух команд: ```sh docker build -t diy-ollama-proxy . docker run --net=host diy-ollama-proxy @@ -279,7 +278,7 @@ docker run --net=host diy-ollama-proxy }, ``` -В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих: +В этом конфиге я выключил несколько дефолтных промптов и добавил несколько своих: - `Improve_Text` заменяет выделенный кусок текста "улучшенным". - `Modify_Text` является аналогом встроенного `Modify_Code` и позволяет делать с выделенным текстом всякие глупости. Например, заменить все числа на слова. - `Use_Selection_as_Prompt` просто заменяет выделенный текст на ответ от LLM.