Starcoder2_3b

30亿参数开源代码生成模型，基于The Stack v2数据集的17种编程语言训练，处理超3万亿token。采用分组查询注意力，上下文窗口16384标记，滑动窗口注意力4096标记，支持填空目标训练。性能媲美StarCoder1-15B，适用于本地轻量编码辅助、代码补全及个人开发工具。