不到1000步微调将LLaMA上下文扩展到32K
不到1000步微调，将LLaMA上下文扩展到32K，
田渊栋团队最新研究：
论文地址：https://arxiv.org/pdf/2306.15595.pdf
yin
ChatGLM微调
清华大学最近新出了第二代chatGLM必须尝鲜一下。
下载chatGLM模型非常费劲，下载之后进行模型测试运行。
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained('/mode/path', trust_remote_code=True)
model = AutoModel.from_pretrained('/model/path', trust_remote_code=True,device='cuda')
model = model.eval()
model.chat(tokenizer, "测试测试")
我们使用 chatGLM-efficient-Tuning 项目进行微调。使用lora模型
微调也很方便：
自定义好训练数据
python src/train_sft.py
《吵架机器人》-资料
训练数据生成
1：自定义（根据生活中的经验自定义数据语料）
2：爬虫抓取
3：利用现有aigc进行生成部分
大模型选择
https://arxiv.org/pdf/2305.11206.pdf lima: less is more for alignment
https://huggingface.co/datasets/GAIR/lima
https://arxiv.org/pdf/2305.15717.pdf The False Promise of Imitating Proprietary LLMs
根据这几篇论文我们得出：选择好的预训练模型 + 多样化的、高质量的数据集做微调。
less is more
LLaMA
使用netron分析onnx模型
onnx 模型有时候我们不知道输入输出时候，可以使用 netron 等工具进行分析。
NetronVersion {version} Copyright © Lutz Roeder Open Model… . . .
CTranslate2 学习
通过CTranslate2 能够实现加速模型推理，降低transformer在内存中的使用。
CTranslate2 目前支持的模型：
Transformer base/big, M2M-100, NLLB, BART, mBART, Pegasus, T5, Whisper
GPT-2, GPT-J, GPT-NeoX, OPT, BLOOM, MPT, LLaMa
如何使用
pip install ctranslate2
translator = ctranslate2.Translator(translation_model_path)
translator.translate_batch(tokens)
generator = ctranslate2.Generator(generation_model_path)
generator.generate_batch(start_tokens)
BLOOM模型
ct2-transformers-converter --model
freeswitch-chatPGT最新版本迭代
自从发布freeswitch-chatGPT项目之后，目前已经收获一些关注。
GitHub - laoyin/freeswitch_chatGPT: Using ChatGPT to connect with FreeSWITCH, creating an intelligent phone robot.Using ChatGPT to connect with FreeSWITCH, creating an intelligent phone robot. - GitHub - laoyin/freeswitch_chatGPT: Using ChatGPT to connect with FreeSWITCH, creating an intelligent phone robot.GitHublaoyin
我们也在最近发布了一个视频的demo供大家参考
智能外呼 的想法:
freeswitch-chatGPT实现最强智能电话客服
结合我们之前分享的经验，如何打造一个智能的AI电话客服。
1：搭建sip通信环境，我们常用开源freeswitch。 最简单方式，使用docker环境进行部署。
GitHub - laoyin/freeswitch_docker_fileContribute to laoyin/freeswitch_docker_file development by creating an account on GitHub.GitHublaoyin
git clone https://github.com/laoyin/freeswitch_docker_file.git
docker build -t fs:v1.2 .
docker run -itd --net=host fs:v1.2