美洽的 AI 客服机器人上线一段时间后，几乎每个团队都会遇到同一个问题：大部分常见咨询机器人都能答，可总有一些问题它答非所问、干脆回复“没有理解”，或者把本该转人工的客户困在自动回复里。与其凭感觉东补一条、西改一句，不如像学生整理错题本一样，把机器人答错、答不上的对话集中收集起来，逐条分析原因，再对症修改知识库，最后回测确认真的改好了。这篇文章就用错题本的方式，讲清美洽机器人答不上来的问题从哪里找、怎么归类、怎么补答案，以及改完之后怎样验证效果。
先建一本错题本：用一张表记住机器人每一次答错
错题本不需要复杂的系统，一张共享表格就够用。关键是每一条记录都要写清楚客户原话、机器人实际给出的回答、正确答案应该是什么、错误属于哪一类，以及由谁负责修改、什么时候改完。只写“机器人答错了”而不留原话的记录几乎没有用处，因为后面补相似问法时，最有价值的恰恰就是客户的原始说法。
- 客户原话一栏要原样复制，包括错别字、口语和缩写，例如“咋退款”“东西没到”“发票能开不”，这些说法正是知识库里最缺的相似问，改写成标准句子反而会丢掉价值。
- 机器人回答一栏记录它当时实际给出的内容，是答了一条不相关的条目、给了一段兜底话术，还是直接没有回应，不同表现对应的原因完全不同，后面归类时要用到。
- 错误类型一栏先按本文后面介绍的五种错题来填，填不准时可以先空着，等周会时大家一起讨论，久而久之团队对错误类型的判断会越来越一致，修改效率也会随之提高。
建议每天由一位值班客服负责往错题本里添加记录，每周固定一个时间集中处理。每天收集、每周修改的节奏，既不会让问题堆积太久，也不会因为天天改知识库导致条目混乱、前后矛盾。
去哪里找错题：美洽里三个值得每天看一眼的地方
机器人答错的对话不会主动跳出来提醒你，需要有人定期去找。不同版本的美洽在机器人统计、会话记录上的功能入口可能不同，下面介绍的是比较通用的三个来源，具体菜单名称以你实际使用的版本为准。
- 机器人的未识别或未命中问题记录。如果你使用的版本提供了机器人数据统计或问题分析功能，通常能看到机器人没有匹配到任何答案的提问列表，这是错题最集中的地方，每天花十分钟浏览一遍即可。
- 转人工的会话记录。客户在机器人对话中主动要求转人工，往往说明机器人刚才没有解决问题，可以在历史会话里筛选由机器人转入人工的对话，重点看转人工前客户问的最后两三句话。
- 客服同事的现场反馈。一线客服接起转人工的会话时，最清楚客户刚才在机器人那里卡在哪里，可以约定客服在会话中顺手打一个“机器人未解决”之类的标签，方便每天统一筛选出来。
三个来源各有侧重：未命中记录能发现知识库里完全没有的问题，转人工记录能发现答了却没答对的问题，客服反馈则能补充那些客户没说出口的不满。三处结合起来看，错题本才不会有明显的盲区。
五种典型错题：看清原因才能改对
收集上来的错题乍看五花八门，但归结起来大多属于以下五类。每一类的改法都不一样，归错了类就会改错方向，比如本来是相似问不够，却去重写答案，改完之后机器人照样认不出客户的说法。
错题一：知识库里压根没有这个问题
典型表现是机器人回复兜底话术，或者说“没有理解你的问题”。这类错题的改法最直接，就是新建一条知识条目，写好标准问题和答案，并把错题本里收集到的几种客户原话一起加为相似问。新建之前记得先在知识库里搜索一下关键词，确认确实没有相近的条目，避免同一个问题出现两条答案。
错题二：有条目，但客户的说法没被认出来
知识库里明明有“如何申请退款”，客户问“钱怎么退回来”，机器人却没有匹配上。这类错题不需要改答案，只需要把客户原话补充为该条目的相似问法，同时再联想几种同义说法一起补上。补充时尽量覆盖口语、错别字和不同的句式，例如疑问句、陈述句和只有几个关键词的短句。
错题三：认出来了，但匹配到了错误的条目
客户问“会员能退吗”，机器人回答了普通商品的退货流程。这通常是两条条目的问法太接近，机器人分不清。改法是把两条条目的标准问题写得更有区分度，在相似问里突出各自的关键词，必要时在答案开头加一句适用范围，让客户一看就知道这条答案说的是哪种情况。
错题四：答案本身过时或者说得不清楚
机器人匹配没问题，但答案里的活动时间已经过期，或者步骤写得太笼统，客户看完还是不会操作，只好转人工。这类错题要直接修改答案内容，把步骤拆成一步一步的短句，写明入口在哪里、点哪个按钮、需要准备哪些信息，涉及时间和规则的内容要在答案里写清楚适用期限。
错题五：本该转人工的问题被机器人拦住了
投诉、退款纠纷、账号安全这类问题，机器人即使能回答，客户也更希望尽快和人工沟通。如果错题本里发现客户反复表达不满、多次追问仍然没有转到人工，就需要检查转人工规则，把这类关键词或意图设置为优先转人工，并在机器人回复中明确告诉客户如何联系人工客服。
动手改题：在美洽知识库里修改条目的具体步骤
归好类以后，就可以进入美洽的知识库或机器人设置进行修改了。下面的步骤适用于大多数情况，每周集中处理错题时按顺序操作，可以减少来回切换页面的时间，也方便事后追溯每一条是谁改的。
- 把本周错题本按错误类型排序，先处理数量最多的一类，通常相似问不足的错题占比最高，集中补完这一类，机器人的整体命中情况往往就会有明显改善，其他类型再逐一处理。
- 进入美洽管理后台中机器人或知识库的管理页面，用错题中的关键词搜索相关条目，打开条目详情后，先阅读现有的标准问题、相似问和答案，确认这条错题确实应该归到这个条目下。
- 按错误类型进行修改，补相似问时把客户原话逐条粘贴进去，改答案时保留原有的正确信息只修正错误部分，新建条目时注意选择正确的分类，方便以后维护和查找。
- 保存后在错题本里对应的那一行填上修改人、修改日期和修改内容摘要，并把状态改为待回测，千万不要改完就直接标记为已解决，因为还没有验证机器人是否真的能正确回答。
- 遇到涉及价格、政策、售后规则的答案，改完之后请相关业务负责人再看一遍，确认说法准确无误，避免机器人把错误的承诺发给客户，造成后续更难处理的纠纷。
回测：用原话重新问一遍，确认真的改对了
改完不回测，错题本就只是一张改动清单。回测的方法很简单，用客户当时的原话重新问机器人一遍，看它是否给出了正确答案。如果你使用的版本在机器人设置里提供测试或预览窗口，可以直接在后台测试；没有的话，就打开接入了美洽的网站页面，以访客身份发起对话进行测试，测试时注意不要影响真实客户的接待。
回测不能只问一次就算数，建议按下面的顺序逐条进行，每条错题花上一两分钟，就能比较可靠地判断这次修改到底有没有生效。
- 先用错题本里记录的客户原话原样提问，包括原来的错别字和口语说法，确认机器人这一次匹配到了正确的条目，并且给出的答案内容就是刚刚修改后的最新版本。
- 再换两三种意思相同但说法不同的问法继续提问，例如把疑问句改成陈述句，或者只输入几个关键词，确认补充的相似问能够覆盖到这些相近的表达方式。
- 接着问一两个与这条条目容易混淆的问题，确认刚才的修改没有让其他条目被误匹配过来，如果出现了新的误匹配，就把这个问题作为新的错题记录进错题本。
- 几种问法都得到正确回答后，才把错题本里的状态改为已解决，并写上回测日期；仍然答错的，退回上一步重新分析原因，必要时请其他同事一起讨论归类是否正确。
每月月底可以把错题本做一次小结，统计本月新增了多少错题、各类型占比多少、已解决多少，这些数据能直观反映机器人知识库的健康程度。如果某一类错题持续偏多，比如过时答案反复出现，就说明需要建立定期检查答案有效期的机制，而不只是被动地等客户来发现问题。
整理错题时常被问到的几个问题
错题太多改不过来，应该先改哪些？
优先改出现次数多的问题和影响大的问题。同一个问题一周被问了几十次，改好它的收益远大于改十个只出现过一次的冷门问题；涉及退款、投诉、账号安全的错题即使出现次数少，也应该尽快处理，因为答错的代价更高。
相似问是不是加得越多越好？
相似问要贴近真实的客户说法，而不是凭空堆砌。加入太多含义模糊的相似问，反而可能让机器人把其他问题误判到这个条目上，出现错题三那样的误匹配。建议以错题本收集到的真实原话为主，再适度补充常见的同义说法。
知识库由谁来维护比较合适？
比较常见的做法是由一位熟悉业务的客服主管或资深客服负责审核，其他客服负责收集错题和提出修改建议。修改权限集中在少数人手里，可以避免多人同时改同一条目造成前后矛盾，美洽的权限设置里一般可以控制哪些人能编辑知识库，具体以你使用的版本为准。
坚持整理错题一两个月之后，你会发现机器人答不上来的问题越来越少，新出现的错题也越来越集中在新活动、新产品这类确实需要补充的内容上。美洽机器人的能力很大程度取决于知识库的质量，而错题本正是让知识库持续变好的最朴素、也最有效的办法。