通过 Ollama 使用本地部署 & 私有部署模型来使用 copilot
Ollama 使用本地模型来使用 copilot 最近 Mistral AI 开放了一个非常善于写代码的模型 codestral,只有 22B, 而我的 MacBook 可以轻松驾驭它,在运行时内存基本只调用 15G 左右,但是又想把它应用到 VScode,这样就可以替代 Github copilot 来更加安全地编写代码。 首先保证在本机已经已经安装了 Ollama 和模型 codestral ,参考官方的链接即可,非常简单。 想在 VScode 使用 类似于 copilot 的功能,一方面需要已经通过 Ollama 安装了 codestral 和 starcoder2 之后在 VScode 中安装插件 continue 。保证你的 Ollama 已经启动即可,你可以通过访问 localhost:11434 来验证它是否在运行。 之后在 continue 插件里面选择 local model 即可,记住,一定要安装 starcoder2 它是实现你成为 TAB 工程师的关键! Ollama 使用私有部署模型来使用 copilot 但是,并不是所有朋友的设备都具有在本地跑一个 22B 模型的能力,或者移动设备能力不足。这时候,如果你拥有一个性能还不错的主机设备,那么你可以选择将 Ollama 部署到主机上,然后远程访问它。 想访问它的前提是需要设置它运行在 0.0.0.0 上,让其他设备能够访问到这个服务,参考这里 : setting-environment-variables-on-linux Setting environment variables on Linux If Ollama is run as a systemd service, environment variables should be set using systemctl:...