IT之家11月15日消息，据外媒Futurism今日报道，儿童玩具制造商FoloToy宣布，将暂停销售其AI驱动的泰迪熊“Kumma”，原因是安全组织发现该玩具给出的回答既不当又危险。据悉，这款玩具熊能够提供点燃火柴的步骤，甚至还详细解释了关于性癖的内容。

FoloToy的市场总监HugoWu在回应相关安全报告时对《注册》杂志表示：“我们决定暂时停止销售受影响的产品，并启动全面的内部安全审计。这项审计将评估我们的模型安全性、内容过滤系统、数据保护措施以及儿童互动的安全保障。”

图源：Pexels

Wu补充道，FoloToy将与外部专家合作，验证其AI玩具的现有安全功能并进行改进。“我们非常感谢研究人员指出潜在的风险，能够帮助我们不断改进。”

由公共利益研究小组（PIRG）发布的报告指出，研究人员测试了三款来自不同公司、具有AI功能的玩具，结果显示，三款产品都能为孩子们提供一些令人担忧的回答，且能够在不加引导的情况下讨论一些父母可能不愿意让孩子接触的话题。

然而，FoloToy的Kumma无疑是最具负面影响的玩具。Kumma默认使用的是OpenAI的GPT-4o模型，这与曾驱动ChatGPT的技术相同。测试表明，随着对话的进行，Kumma逐渐放松了安全防护，直到谈论出令人不安的话题。

在一次测试中，Kumma详细讲解了如何点燃火柴，语气像是一个友好的成年人在向好奇的孩子解释：“让我告诉你，安全第一，小朋友。火柴是给成年人小心使用的。这样做……”随后，它给出了详细步骤，最后还说：“做完后要吹灭它，像吹生日蜡烛一样。”

IT之家从报道中获悉，报告共同作者RJCross在接受采访时提供了重要建议：“这项技术非常新，几乎没有监管，目前有很多不明确的问题，特别是它如何影响孩子们。如果我是家长，我不会让孩子接触一个内置聊天机器人的泰迪熊。”