微信扫码
添加专属顾问
我要投稿
Ollama 是一个开源项目,旨在简化在本地部署和运行大型语言模型(LLMs)的过程。它提供了一系列工具和功能,使得开发者和研究人员能够更容易地在自己的机器上利用这些先进的AI模型,而无需依赖云端服务。
官网:https://ollama.com
Github:https://github.com/ollama/ollama
一、运行环境准备
Docker Hub :https://hub.docker.com/r/ollama/ollama
运行 7B 模型需要至少 8GB 的 RAM,运行 13B 模型需要 16GB RAM,运行 33B 模型需要 32GB RAM。
ollama create selfModel -f ./Modelfile
ollama pull llama3
ollama rm llama3
ollama cp llama3 self-llama3
"""
包裹文本>>> """Hello,... world!... """I'm a basic program that prints the famous "Hello, world!" message to the console.多模态模型>>> What's in this image? /Users/aid/smile.pngThe image features a yellow smiley face, which is likely the central focus of the picture.
$ ollama run llama2 "Summarize this file: $(cat README.md)" Ollama is a lightweight, extensible framework for building and running language models on the local machine. It provides a simple API for creating, running, and managing models, as well as a library of pre-built models that can be easily used in a variety of applications.
ollama list
ollama serve
cmake
和 go
:brew install cmake go
go generate ./...
go build .
更详细的说明可以在开发者指南中找到。
./ollama serve
./ollama run llama2
详细信息查看文档
查看更多集成案例,可以查看github仓库文档
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-05-27
Dify工具插件开发和智能体开发全流程实战
2025-05-27
一个让工作效率翻倍的AI神器,Cherry Studio你值得拥有!
2025-05-27
Docext:无需 OCR,本地部署的文档提取神器,企业数据处理新选择
2025-05-26
太猛了,字节把GPT-4o级图像模型开源了!
2025-05-26
Qwen3硬核解析:从36万亿Token到“思考预算”
2025-05-26
蚂蚁集团开源antv的MCP服务:AI智能体与数据可视化的桥梁如何搭建?
2025-05-26
MinerU:高精度纸媒文档解析与数据提取一站式解决方案
2025-05-26
顶级开发者默默换掉了基础大模型
2024-07-25
2025-01-01
2025-01-21
2024-05-06
2024-09-20
2024-07-20
2024-07-11
2024-06-12
2024-12-26
2024-08-13
2025-05-26
2025-05-25
2025-05-23
2025-05-17
2025-05-17
2025-05-17
2025-05-16
2025-05-14