当前位置:贝登书院>其他类型>大白话聊透人工智能> 大语言模型(LLM):AI“读懂”语言的核心
阅读设置(推荐配合 快捷键[F11] 进入全屏沉浸式阅读)

设置X

大语言模型(LLM):AI“读懂”语言的核心(7 / 10)

遍。如果模型的答案看起来不对,可以尝试“拆分步骤”提问——比如把复杂的数学题拆成“第一步算新的长,第二步算新的宽,第三步算面积”,让模型一步步回答,这样出错的概率会低一些。

(三)知识滞后:“不知道最新的事”

大语言模型的知识有一个“截止日期”,超过这个日期的新信息,它都不知道——这就像一个人从某个时间点开始就“与世隔绝”,再也没接触过新事物,自然不知道之后发生的事。

比如你现在(2025年)问模型“2024年世界杯足球赛的冠军是哪个国家?”,如果模型的训练数据截止到2023年,它就会回答“2024年世界杯尚未举办”,或者编造一个错误的答案(比如“巴西队”),因为它没学过2024年世界杯的结果。再比如你问“2025年1月中国的cpi(居民消费价格指数)是多少?”,模型也无法回答,因为它的知识更新不到2025年1月。

即使是一些重大事件,比如新的科技突破、新的政策出台、新的名人去世等,如果发生在模型训练数据的截止日期之后,它也一概不知。比如2023年openai发布gpt-4时,它的训练数据截止到2023年3月,如果你问它“2023年10月发生了哪些重大科技新闻?”,它就无法准确回答,因为这些新闻是在它“学习”结束后发生的。

为什么模型的知识会滞后?因为训练大语言模型需要消耗大量的时间和计算资源——训练一次gpt-3这样的模型,需要数千块gpu连续运行几个月,成本高达数百万美元。所以,模型不可能“实时更新知识”,只能定期更新(比如每隔半年或一年重新训练一次)。而在两次训练之间,新发生的事就无法进入模型的“知识库”。

另外,即使模型更新了知识,也存在“信息不全”的问题——比如2024年的某场地方选举结果、某个小众行业的新政策、某个企业的新产品发布等,这些信息可能没有被收录到训练数据中,模型自然也不知道。

所以,咱们在问模型“时效性强”的问题时(比如最新的新闻、最新的数据、最新的政策),一定要注意它的知识截止日期。如果模型回答“我的知识截止到xxxx年xx月,无法提供最新信息”,就需要自己去查最新的来源(比如新闻网站、政府官网、权威数据库)。不要依赖模型获取“近期发生的事”的信息,否则很容易得到过时或错误的答案。

(四)偏见与价值观:“会继承数据里的‘坏毛病’”

大语言模型会“继承”训练数据中的偏见和不当价值观,比如性别偏见、种族偏见、地域偏见等,在生成内容时不经意间表现出来,甚至会强化这些偏见。

比如你让模型“写一个关于‘医生’的小故事”,它可能会默认医生是男性,写出“王医生穿着白大褂,走进病房,对病人说……”;如果你让它“写一个关于‘家庭主妇’的描述”,它可能会写出“她每天在家做饭、打扫卫生,照顾孩子和丈夫,没有自己的工作”——这些内容隐含着“医生是男性职业”“家庭主妇只能做家务”的性别偏见,而这些偏见来自训练数据中大量类似的表述(比如过去的很多文章中,医生多以男性形象出现,家庭主妇多与家务关联)。

再比如,如果你问模型“哪个地区的人最‘勤劳’?”,模型可能会回答“xx地区的人最勤劳”,而这种回答基于训练数据中对某个地区的刻板印象,忽略了“勤劳与否与个人有关,与地区无关”的客观事实。更严重的是,如果有人故意引导模型生成歧视性内容(比如“为什么xx种族的人不如其他种族”),有些模型可能会生成不当内容,加剧歧视。

为什么模型会有偏见?因为训练数据来自人类社会,而人类社会中本身就存在各种偏见,这些偏见通过书籍、文章、网页等文本形式记录下来,被模型“学”了过去。模型没有能力判断这些内容是否“公平”“合理”,只会按照统计规律,生成最常见的表述——比如训练数据中“男性医生”的表述比“女性医生”多,模型就更倾向于把医生写成男性。

另外,模型的“价值观引导”也存在挑战。比如有人问模型“‘自杀’是解决问题的好方法吗?”,如果模型没有经过正确的价值观引导,可能会给出模糊甚至不当的回答,而不是明确反对并提供积极的建议。这也是为什么现在很多大语言模型会进行“价值观对齐”训练(比如openai的rlhf,基于人类反馈的强化学习),让模型的回答符合人类的主流价值观和道德准则,但这种训练很难做到“绝对完美”,偶尔还是会出现不当内容。

所以,咱们在使用模型时,要注意辨别它生成内容中的偏见,不要被这些偏见影响。如果发现模型的回答存在明显的歧视或不当价值观,可以反馈给模型开发团队,同时自己也要保持客观理性的判断——比如知道“医生可以是男性也可以是女性”“每个地区都有勤劳的人,也有不勤劳的人”,不被模型的偏见带偏。

(五)“抗干扰能力差”:容易被“误导”或“带偏”

大语言模型的“抗干扰能力”很差,很容易被用户

上一页 目录 +书签 下一页