开源工具打造自己的AI编程助手 Continue + Ollama

Continue是一个由硅谷YC支持的AI代码编程助手，提供VSCode和JetBrains插件，类似Github Copilot。Continue是开源的，而且支持Ollama，这意味着我们可以定制自己的AI编程助手。

GitHub：https://github.com/continuedev/continue

VSCode插件：https://marketplace.visualstudio.com/items?itemName=Continue.continue

JetBrains插件：https://plugins.jetbrains.com/plugin/22707-continue

也可以IDE的插件市场搜索 continue

下一步准备好Ollama的本地模型，官网https://ollama.com，下载后启动，在命令行执行

ollama run deepseek-coder:6.7b

在插件config.json中配置好模型参数

{ "models": [ { "title": "DeepSeek Coder 6.7B", "provider": "ollama", "model": "DeepSeek Coder 6.7B" } ],   "tabAutocompleteModel": {   "title": "DeepSeek Coder 6.7B",   "provider": "ollama",   "model": "deepseek-coder:6.7b-base"   } }

Continue也支持利用 Ollama 运行多个模型和处理多个并发请求的能力，方法是使用DeepSeek Coder 6.7B进行自动完成，使用Llama 3 8B进行聊天。前提是你的机器足够强大。可以参考配置

{ "models": [ { "title": "Llama 3 8B", "provider": "ollama", "model": "Llama 3 8B" } ], "tabAutocompleteModel": { "title": "DeepSeek Coder 6.7B", "provider": "ollama", "model": "deepseek-coder:6.7b-base" } }

Continue 内置了@codebase上下文提供程序，可让自动从代码库中检索最相关的代码片段。假设已经设置了聊天模型（例如 Codestral、Llama 3），那么可以通过 Ollama 和LanceDB 的嵌入将整个体验保持在本地。建议使用nomic-embed-text嵌入。

ollama pull nomic-embed-text

然后配置config.json参数

{ "embeddingsProvider": { "provider": "ollama", "model": "nomic-embed-text" } }

根据代码库的大小，索引可能需要一些时间，然后可以直接提问，系统会自动找到重要的代码库部分并将其用于回答。

Continue 还内置了@docs上下文提供程序，可让您索引和检索来自任何文档站点的片段。假设您已经设置了聊天模型（例如 Codestral、Llama 3），您可以通过提供文档链接并提出问题以了解更多信息，从而让整个体验保持本地化。

@docs在聊天侧栏中输入内容，选择“添加文档”，复制并粘贴到 URL 字段中，然后在标题字段中输入查询的内容。

它应该快速索引已经上传的内容，然后你可以提出问题，它会自动找到重要部分并将其用于答案。

代码理解

代码自动补全

重写优化代码

查询代码库相关问题

‍

把文档作为上下文的问答

‍

‍Ollama的资源要求

根据 Ollama.ai 官方文档，运行 Ollama 的建议系统要求是：

操作系统： Linux：Ubuntu 18.04 或更高版本，macOS：macOS 11 Big Sur 或更高版本

RAM： 8GB 用于运行 3B 模型，16GB 用于运行 7B 模型，32GB 用于运行 13B 模型

磁盘空间：12GB 用于安装 Ollama 和基本模型，存储模型数据所需的额外空间，具体取决于您使用的模型。

CPU： 建议使用至少 4 核的任何现代 CPU，对于运行 13B 模型，建议使用至少 8 核的 CPU。

GPU（可选）： 运行 Ollama 不需要 GPU，但它可以提高性能，尤其是运行较大的模型。如果您有 GPU，可以使用它来加速 定制模型的训练。

除了上述内容之外，Ollama 还需要有效的互联网连接来下载基本模型并安装更新。

不同模型大小的内存（RAM）要求参考：

• 运行3B模型需要至少8GB的RAM。

• 运行7B模型需要至少8GB的RAM。

• 运行13B模型需要至少16GB的RAM。

• 运行33B模型需要至少32GB的RAM。

根据我自己的实际体验，MacBook M3 pro 18G，运行13B的模型会有点卡，运行7B的体验就很流畅。