CodeGeeX 本地部署

  1. 本地下载安装 vs 插件,通过应用市场下载安装 https://marketplace.visualstudio.com/items?itemName=aminer.CodeGeeXVisualStudio
  2. 使用方式分为两种,使用线上模式(注册账号)和本地模型模式(ollama 部署模型)
  3. 设置 ollama 跨域,配置环境变量 用户添加:

    OLLAMA_HOST        0.0.0.0:11434
    OLLAMA_ORIGINS    *
  4. 配置防火墙,开放端口 11434
  5. ollama 部署本地模型

    ollama serve
    
    ollama run codegeex4
  6. vs 配置本地连接

    ## 模型连接
    http://localhost:11434/v1/chat/completions
    http://192.168.4.17:11434/v1/chat/completions
    
    ## 模型名称
    codegeex4:latest