近日,有传闻称:“字节跳动的大模型训练被实习生入侵,注入了破坏代码,导致其训练成果不可靠,可能需要重新训练。据称遭到入侵的代码注入了8000多张卡,带来的损失可能超过千万美元。”
10月19日,字节跳动回应称:“确有商业化技术团队实习生恶意干扰团队研究项目的模型训练任务,该实习生已被辞退,但这并不影响商业化的正式项目及线上业务,也不涉及字节跳动大模型等其他业务。网传‘涉及8000多卡、损失上千万美元’严重夸大。”
另外,字节跳动澄清,“经核实,涉事人一直在商业化技术团队实习,并没有AI Lab实习经历。其社交媒体个人简介及部分媒体报道有误。”
字节跳动回应了“实习生破坏大模型训练”相关传闻。
澎湃新闻记者了解到,该事件实际发生在今年6月底,实习生田某某为国内某高校在读博士生,于2021年9月起在字节实习,因对团队资源分配不满,利用HF(huggingface)的漏洞,在公司的共享模型里写入破坏代码,导致模型的训练效果忽高忽低,无法产生预期的训练效果,而且AML团队无法核查原因。在消息曝出后,该名涉事实习生试图在社交平台上辟谣,将责任甩给他人,不过很快便遭到了接近字节跳动人士的否认。
字节已成为国内大模型战场上角逐的强劲力量。据第三方数据,基于豆包大模型打造的豆包APP月活用户数在上半年已达到2752万,是第二名的2.43倍,已成为国内最活跃的AIGC类(生成式人工智能)应用产品。
此前5月15日,字节正式发布豆包大模型,主力模型在企业市场的定价只有0.0008元/千Tokens,0.8厘就能处理1500多个汉字,比行业便宜99.3%,震撼业内,不少竞争对手纷纷跟进,引发大模型行业集体性的降价趋势。