InternLM实战营 第三次作业

发布时间 2024-01-10 11:14:56作者: 艾特玖

基础作业

这一部分在第三次笔记中可以找到详细的

这里就给一个结果展示

运行结果

进阶作业

收集数据

这里我只收集了法律相关的三个数据,构造了对应的向量数据库

这里不放代码了,代码会放到最后的最后的github对应的项目

创建应用

这里我现在自己机器上跑了一下效果

对应的知识库的内容

可能本来模型就知道,所以我们对比一下之前没有加入数据库的,错啦!

经过对openxlab的学习,遇到了下边的几个问题

  1. 导入InternLM-chat-7b模型

    • 在app.py中加入下边代码,直接下载导入指定目录

    • # 将模型导入
      from openxlab.model import download
      download(model_repo='OpenLMLab/InternLM-chat-7b', output='/home/xlab-app-center/model/InternLM-chat-7b')
      
  2. 导入sentence-transformers模型

    • 在app.py中加入下边代码,直接下载导入指定目录

    • # 设置环境变量
      os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
      
      # 下载模型
      os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /home/xlab-app-center/model/sentence-transformer')
      
  3. 给配的镜像python=3.9会不满足chroma的要求,会报错需要sqlite3 >= 3.35.0

    • 在app.py开头加入下列代码

    • import pysqlite3
      import sys
      sys.modules["sqlite3"] = sys.modules.pop("pysqlite3")
      
  4. 存储爆啦!!


GitHub地址