Showing posts with label 本地部署. Show all posts
Showing posts with label 本地部署. Show all posts

Wednesday, 26 March 2025

UI-TARS 本地部署:手残党福音,自然语言控电脑!- UI-TARS Local Deployment: Natural Language Control for Your Computer!

快速部署 UI-TARS,让你的电脑听懂人话!- Quick deployment of UI-TARS, make your computer understand human language!



UI-TARS本地部署指南(以Mac为例):


一、前置条件

系统:macOS Ventura 或更高版本

Python:3.9+(可通过 Homebrew 安装)


存储:至少 10GB 可用空间


二、部署步骤

1. 安装基础依赖


# 安装 Homebrew(已安装可跳过)

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"


# 安装 Python 和 Git(以python3.9为例, 不能低于3.9)

brew install python@3.9 git


# 创建并激活虚拟环境

python3.9 -m venv uitars_env && source uitars_env/bin/activate


2. 安装 PyTorch 和依赖


# 安装适配 Mac M芯片的 PyTorch

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cpu


# 克隆仓库

git clone https://github.com/bytedance/UI-TARS.git && cd UI-TARS


# 安装项目依赖

pip install -r requirements.txt huggingface-hub bitsandbytes


3. 下载轻量模型


# 下载 Phi-2 模型(约 5GB), 如果硬件条件好,可以试试phi4

mkdir -p models/phi-2

huggingface-cli download microsoft/phi-2 --local-dir models/phi-2


4. 配置参数文件


# 修改配置文件(尽量只用CPU)

echo 'device: "cpu"\nmodel_path: "models/phi-2"\nquantize: 4bit' > configs/local_config.yaml


三、验证安装


1. 检查模型加载

python3 -c "from transformers import AutoModelForCausalLM; AutoModelForCausalLM.from_pretrained('models/phi-2'); print('✅ 模型加载成功')"


如果输出 模型加载成功!,则说明环境配置正确。


2. 运行示例


# 创建测试图片目录

mkdir test_images && curl -o test_images/demo.png https://example.com/sample-ui.png


# 执行推理

python3 scripts/predict.py --image test_images/demo.png --config configs/local_config.yaml


# 查看结果

cat outputs/demo.json


Tuesday, 25 February 2025

微信AI聊天机器人超进化:DeepSeek 接入指南,小白也能轻松搞定

告别无聊尬聊,微信秒变智能助手,DeepSeek 带你飞!- Say goodbye to boring chats, WeChat turns into a smart assistant in seconds, DeepSeek takes you to fly!



要将DeepSeek接入到chatgpt-on-wechat项目中,需要遵循以下步骤:

使用DeepSeek API Key的方法

1. 获取DeepSeek API Key

首先,您需要获取DeepSeek的API密钥:

  1. 访问DeepSeek官方网站或者使用免费的OpenRouter官网调用Deepseek API. 

  2. 注册并登录您的账户

  3. 在API密钥部分创建一个新的API密钥

  4. 复制并安全保存生成的API密钥

2. 配置chatgpt-on-wechat项目

  1. 克隆chatgpt-on-wechat项目到本地:

git clone https://github.com/zhayujie/chatgpt-on-wechat.git

cd chatgpt-on-wechat

  1. 安装必要的依赖:

pip3 install -r requirements.txt

  1. 安装扩展依赖(图片,声音等)

pip3 install -r requirements-optional.txt

  1. 在项目根目录下创建或编辑配置文件 config.json,添加DeepSeek的配置,,并确保 Python 版本 >= 3.8, 具体请参考官网设置说明:

{

   "channel_type": "wx",

   "model": "deepseek-chat",

   "open_ai_api_key": "YOUR_DEEPSEEK_API_KEY",

   "proxy": "",

   "api_base_url": "https://api.deepseek.com/v1" 或者  “https://openrouter.ai/api/v1/chat/completions”

"single_chat_prefix": ["bot"],

   "group_chat_prefix": ["@bot"],

   "wechat_prefix": ["@bot"]

}

3. 运行项目

执行以下命令启动项目:

python app.py


然后用微信扫码登录,成功后你的微信账号就可以和 Deepseek API 进行对话,首次登录需在手机端确认。

使用本地Ollama运行DeepSeek的方法

1. 安装Ollama

  1. 访问 Ollama 官网并下载适合您操作系统的版本

  2. 安装 Ollama, 在官方Github上有多种安装方式

2. 下载并运行DeepSeek模型

  1. 打开终端,运行以下命令下载DeepSeek模型:
    ollama pull deepseek-coder-v2 → 你自己选需要的模型,这只是例子。

  2. 启动DeepSeek模型:

ollama run deepseek-coder-v2
默认监听 http://localhost:11434,你可以用 curl 测试:

curl http://localhost:11434/api/generate -d '{

  "model": "deepseek-coder-v2",

  "prompt": "你好!",

  "stream": false

}'

如果返回 "response": {应该是某种问候},说明 API 服务正常。

3. 配置chatgpt-on-wechat项目

  1. 克隆并安装依赖(如前面所述)

  2. 修改 config.json 文件, 具体请参考官网设置说明:

{

   "channel_type": "wx",

   "model": "deepseek-chat",

   "open_ai_api_key": "ollama",

"proxy": "",

   "api_base_url": "http://localhost:11434",

"single_chat_prefix": ["bot"],

   "group_chat_prefix": ["@bot"],

   "wechat_prefix": ["@bot"]

}

  1. 需要本地repository添加新Ollama机器人(bot/ollama_bot.py):

async def reply(self, query, context):

    response = requests.post(

        f"{self.ollama_base_url}/api/chat",

        json={

            "model": self.model,

            "messages": [{"role": "user", "content": query}]

        }

    )

return response.json()['message']['content']

4. 运行项目

执行以下命令启动项目:

OLLAMA_HOST=0.0.0.0 python3 app.py


然后用微信扫码登录,你的微信账号就可以通过本地 Ollama 调用 Deepseek 进行聊天,首次登录需在手机端确认。

请确保仔细阅读chatgpt-on-wechat项目的文档,并在必要时参考DeepSeek和Ollama的官方文档以获取更详细的信息。