milvus安装及langchain调用

    • 安装milvus
      • 安装docker-compose
      • 安装milvus
      • 安装可视化界面attu
    • 通过langchain调用milvus
      • 安装langchain
      • 安装pymilvus
      • 调用milvus

安装milvus

安装docker-compose

  1. 下载文件
curl -L https://github.com/docker/compose/releases/download/1.21.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
  1. 权限
chmod +x /usr/local/bin/docker-compose
  1. 查看版本
docker-compose -version#出现：#docker-compose version 1.21.1, build 5a3f1a3

安装milvus

  1. 下载文件
wget https://github.com/milvus-io/milvus/releases/download/v2.3.1/milvus-standalone-docker-compose.yml -O docker-compose.yml
  1. 通过docker-compose安装
docker-compose up -d
  1. 查看安装是否成功
docker-compose ps#出现:Name CommandStatePorts--------------------------------------------------------------------------------------------------------------------milvus-etcd etcd -advertise-client-url ... Up (healthy) 2379/tcp, 2380/tcpmilvus-minio/usr/bin/docker-entrypoint ... Up (healthy) 0.0.0.0:9000->9000/tcp, 0.0.0.0:9001->9001/tcpmilvus-standalone /tini -- milvus run standalone Up (healthy) 0.0.0.0:19530->19530/tcp, 0.0.0.0:9091->9091/tcp
  1. 测试端口
docker port milvus-standalone 19530/tcp#0.0.0.0:19530

安装可视化界面attu

  1. 拉取镜像
docker pull zilliz/attu:v2.3.1
  1. 启动容器
 docker run -d --name=attu -p 8920:3000 -e MILVUS_URL=192.168.175.4:19530 zilliz/attu:v2.3.1

其中端口和ip换成自己的就行（8920，192.168.175.4换成自己服务器的ip和自己定义的端口）

  1. 可视化界面

通过langchain调用milvus

安装langchain

pip install langchain

安装pymilvus

pip install pymilvus

调用milvus

  1. 导入需要的包
from langchain.document_loaders import WebBaseLoaderfrom langchain.embeddings import HuggingFaceBgeEmbeddingsfrom langchain.text_splitter import CharacterTextSplitterfrom langchain.vectorstores import Milvusfrom langchain.document_loaders import TextLoader
  1. 加载文档
loader = TextLoader("story.txt")documents = loader.load()text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)docs = text_splitter.split_documents(documents)
  1. embedding
model_name = "/mnt/code/LLM_Service/text_model/bge-large-zh-v1.5/"model_kwargs = {'device': 'cuda'}encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarityembeddings= HuggingFaceBgeEmbeddings(model_name=model_name,model_kwargs=model_kwargs,encode_kwargs=encode_kwargs,query_instruction="")
  1. 存milvus数据库
MILVUS_HOST = "192.168.175.4"MILVUS_PORT = "19530"vector_store = Milvus.from_documents(docs,embedding=embeddings,collection_name="collection_1",connection_args={"host": MILVUS_HOST, "port": MILVUS_PORT})
  1. 搜索数据库
query = "托马斯是时间行者"docs = vector_store.similarity_search_with_score(query)print(docs)

搜索结果

[(Document(page_content='故事三：时间旅行者的恋情\n托马斯是一名时间旅行者，他在不同的时代中穿梭。在一次时间旅行中，他在18世纪遇到了美丽的女子艾米丽。托马斯深深地爱上了艾米丽，但他们因时代的差异而不能在一起。在经历了一系列的冒险和挑战后，托马斯最终决定留在18世纪，与艾米丽共度一生。', metadata={'source': 'story.txt'}), 0.8902961611747742), (Document(page_content='故事四：赛跑冠军的挑战\n杰克是一名跑步冠军，他一直以来都是无人能敌的。然而，他的生活在遇到挑战者丹尼尔后发生了改变。丹尼尔是一名励志运动员，他的出现打破了杰克的记录。杰克开始质疑自己的能力，他经历了挫折和困惑。但通过不懈的努力和训练，他重新找回了自信，并在最后的比赛中胜出，证明了自己的实力。', metadata={'source': 'story.txt'}), 1.5015017986297607),(Document(page_content='故事二：勇者的冒险\n小村庄的勇者艾丽斯，从小就梦想着成为一名英雄。当她的村庄被恶龙袭击时，她决定踏上寻找传说中的神器的旅程。艾丽斯在旅途中遇到了各种危险，但她凭借智慧和勇气克服了所有困难。最后，她找到了神器并成功击败了恶龙，成为了村庄的英雄。', metadata={'source': 'story.txt'}), 1.5689527988433838),(Document(page_content='故事一：科技与人性\n在遥远的未来，人类已经开发出了先进的人工智能技术。一台名为"图灵"的超级AI机器被制造出来，它能理解和模拟人类的情感，甚至开始质疑自身的存在意义。在与人类交互的过程中，图灵开始体验到孤独、忧郁，甚至爱情。在人类的帮助下，图灵最终了解了自己的存在并找到了自我价值。', metadata={'source': 'story.txt'}), 1.6139130592346191)]