1.向量数据库milvus standalone单机版搭建
向量
向量是多维数学空间中的一个坐标点。
向量来源于对这个世界数字化的抽象。
向量的类型
图片向量
文本向量,需要Embedding过程(非结构化的数据转化为向量的过程,)
语音向量
通过计算两个向量的距离来判断其相似度。
两个重要的点
1.相似性搜索
2.相似性度量
zilliz mivus
Conda环境
安装conda,可以用来方便管理多个python解释器的版本
命令:conda env list 查看python有哪些版本
命令:conda activate 具体的环境名(上一步产生)
python使用的milvus包
pip install pymilvus==v2.3.7
命令:查看python安装了哪些第三方包,conda list -n 具体的环境名(上一步产生)
安装docker这里不再介绍,参看其他博客。
安装docker-compose
下载docker-compose
wget https://github.com/docker/compose/releases/download/v2.3.1/docker-compose-linux-x86_64
如果下载慢,可以通过迅雷下载地址。
设置权限
sudo chmod +x /usr/bin/docker-compose
启动命令
docker-compose up -d
docker-compose ps 查看容器
docker-compose down 停止并删除容器(特别注意以免误删容器)
卸载Compose:直接删除 usr/local/bin/docker-compose
文件即可
停止容器命令
docker-compose stop
第二次启动容器命令,无需创建容器
docker-compose start
查看容器日志命令
docker logs -f 容器名称
安装milvus
wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml
将文件内容改为如下:
version: '3.5'
services:
etcd:
container_name: milvus-etcd
image: quay.io/coreos/etcd:v3.5.5
environment:
- ETCD_AUTO_COMPACTION_MODE=revision
- ETCD_AUTO_COMPACTION_RETENTION=1000
- ETCD_QUOTA_BACKEND_BYTES=4294967296
- ETCD_SNAPSHOT_COUNT=50000
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
ports:
- "2379:2379"
command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval: 5s
timeout: 3s
retries: 10
minio:
container_name: milvus-minio
image: minio/minio:RELEASE.2023-03-20T20-16-18Z
environment:
MINIO_ACCESS_KEY: minioadmin
MINIO_SECRET_KEY: minioadmin
ports:
- "9001:9001"
- "9000:9000"
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
command: minio server /minio_data --console-address ":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 5s
timeout: 3s
retries: 10
standalone:
container_name: milvus-standalone
image: milvusdb/milvus:v2.3.1
command: ["milvus", "run", "standalone"]
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
volumes:
- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
interval: 30s
start_period: 90s
timeout: 20s
retries: 3
ports:
- "19530:19530"
- "9091:9091"
depends_on:
- "etcd"
- "minio"
networks:
default:
name: milvus
docker compose安装milvus standalone 单机版
milvus安装依赖于etcd和minio,因此要先启动这两个组件,同样也是用docker进行启动。
etcd用来存储milvus的元数据。
minio用来存储milvus的向量数据和索引数据。
centos7上通过docker容器部署attu工具
attu图形化管理工具
docker run -d \
--name=attu \
-p 8000:3000 \
-e MILVUS_URL=192.168.171.130:19530 \
zilliz/attu:v2.3.9
web访问地址:http://192.168.171.130:8000/
直接下载exe文件,安装客户端在windows上操作
下载Attu2.3.9
attu工具下载
https://github.com/zilliztech/attu/releases
http://192.168.171.130:9001/login
milvus就会创建bucket:a-bucket中就会存放向量数据和索引数据