背景
生成式人工智能(AIGC)和大语言模型(Large Language Model)正引领一场横跨各行各业的革命性变革,大语言模型(LLM)在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用,也正重塑着各个行业。随着大语言模型(LLM) 规模不断扩大,运行大模型所需的资源消耗也越来越大,给 AI 应用开发者带来了相当大的挑战。英特尔开源的BigDL-LLM轻量级大语言模型加速库,可助力 AI 开发者和研究者在英特尔® 平台上加速优化大语言模型,提升大语言模型在英特尔® 平台上的使用体验。
BigDL-LLM的分享,以下是一些链接:
-
BigDL Repo: https://github.com/intel-analytics/BigDL/
-
Tutorial (上手教程): https://github.com/intel-analytics/bigdl-llm-tutorial
-
Examples (大量社区中流行的模型在Intel CPU/GPU上经BigDL-LLM优化后的使用实例,还包括qlora fintune等): https://github.com/intel-analytics/BigDL/tree/main/python/llm/example
-
API 文档: https://bigdl.readthedocs.io/en/latest/doc/PythonAPI/LLM/index.html