SUTD团队提出11亿参数小模型TinyLlama

来自新加坡科技设计大学 (SUTD)StatNLP组的团队5日在arXiv上发表论文，提出11亿参数的小型语言模型TinyLlama,其在大约1万亿个Token上进行了3轮预训练。