贾佳亚团队开源70B长文本大模型LongAlpaca

据介绍，香港中文大学贾佳亚团队与麻省理工学院合作发布了一款名为LongAlpaca的开源大语言模型。该模型有三个参数规模版本，分别为7B、13B和70B。团队采用了自研的文本长度拓展方案LongLoRA，只需两行代码和一台8卡A100机器，就可以将7B模型的文本长度拓展到100k Tokens，将70B模型的文本长度拓展到32k Tokens。贾佳亚是香港中文大学的终身教授，曾任职腾讯杰出科学家和腾讯优图实验室联合负责人。他在2020年离职后创办了一家名为思谋科技的AI公司。