审计前阶段
在审前阶段,审计人员需要确定本次审计工作的被审计对象、审计事项和审计组成员等信息。其中,被审计对象和审计事项的决策应该充分全面地考虑到历史审计覆盖率、屡查屡犯问题、重大决策部署政策文件和审计做工指导性文件等因素,而历史审计成果和政策文件这类非结构化数据的有效管理和运用一直是审计工作的难点。
利用LLM可以首先实现对此类非结构化数据的关键信息提取,然后再通过数据分析和LLM相结合的方式进一步实现被审计对象和审计事项的推荐,辅助审计人员做成决策,具体如下:
(1)关键信息提取
利用LLM的语义理解能力和文本生成能力,分析历史审计成果(如,审计底稿、审计报告等)和政策文件(如,重大决策部署政策文件、“十四五”发展规划、数据要素规划等),自动提取文档中的关键信息,获取各审计对象的历史审计情况和当地规划中的重点任务或事项。其中,审计对象的历史审计情况包括历史被审时间、审计发现问题、发现问题的事项和问题金额等,可形成历史审计成果知识库,智能化管理历史审计成果文件的同时,提高审计成果的复用率。
(2)智能推荐
基于历史审计成果知识库中各被审计对象的历史审计情况,利用数据分析技术获取需要重点关注的被审计对象和对应的审计事项,进一步地,再利用LLM对数据分析的结果和政策文件提取的关键信息进行语义理解与分析,进而实现对被审计对象和重点关注事项的推荐,辅助审计人员的审前方案编排工作。
在本阶段中,完成被审计对象、审计事项等信息的编排后,亦可以借助LLM辅助相关审计过程文书的撰写。即利用相关决策信息和审计业务知识,通过LLM的文本生成能力完成审计实施方案和审计通知书的初稿生成,为审计人员减少大量的文书撰写工作。
项目实施阶段
审计工作进行到项目实施阶段,审计人员需要对财务报表、会议纪要、招投标文件、政策文件、合同等大量结构化和非结构化数据进行分析解读,审查发现其中涉嫌的违规违纪问题,这是审计人员工作量最大的一个环节,也是LLM发挥作用的最主要场景。庞大的数据量使得审计人员的工作量大得难以想象,并且有限的时间导致审计的深度和广度也受到了影响。利用LLM可提前为审计人员在所有的数据中快速排查和筛选出可疑数据,并提供预警提醒,从而提高审计效率,使得审计人员可以将更多的时间和精力集中于高难度的疑点问题审查上。
(1)结构化数据
(2 )非结构化数据
会议纪要、合同、招投标文件等非结构化数据作为审计工作的关键信息来源,对其的数据分析一直是工作难点,因为审计人员需要手动处理和翻阅大量的文档数据,人工进行文本信息的阅读理解与内容比对,占据了审计人员大量的工作时间。利用LLM进行关键信息的提取、文本信息的语义理解和文本信息的差异比对与相似度评估,帮助审计人员更多更便捷地利用非结构化数据中的信息,为其在大量数据中缩小审查范围。例如,批量进行投标文件的相似度评估实现可疑标段的预警;对合同的关键信息提取后,进行文本比对实现阴阳合同等可疑数据的预警;提取招标文件和投标文件的关键信息后,可以进一步实现包括合同签订与招标文件不一致、重复招标和跨档评分等疑点问题的预警。与传统抽样调查相比,提供了更加全面、更加准确的审计证据,实现审计效率提高的同时,还能增强审计的深度和广度。
审计文书阶段
在审计文书阶段,审计人员需要依据实施阶段的审查结果完成取证单、审计底稿和审计报告等审计文书的撰写,繁琐的文书撰写工作需要耗费审计人员大量的时间,特别是从无到有的这个过程,需要进行各种资料的查阅和整合。利用LLM可以实现各类审计文书初稿的自动生成,提高审计人员的文书撰写效率。此外,在以往的审计工作中已积累了大量的审计文书资料,利用LLM还可以实现在这些历史文书资料中检索出具有相似语义的文本段落,辅助审计人员在文书的撰写修订过程中,能快速获取有用的历史资料作为参考,提高资料检索的效率和准确性。
审理阶段
在审理阶段,利用LLM可以自动分析审计过程中产生的取证单和审计底稿等文书,辅助审计人员完成审计问题定性、定性依据引用、处分处理决定和处分处理依据引用的合理性研判,LLM还可以依据审计过程和结果实现对本次审计工作质量的评估,为审计人员在审理工作中提供参考,减少审计人员手动翻阅大量数据和问答的时间。此外,结合审理工作的各项评估结果,还能借助LLM完成审理报告初稿的自动生成,提高审计工作的效率。
整改阶段
在整改阶段,利用LLM可以对审计报告进行结构化处理获取审计发现的问题,进而根据问题的语义描述实现整改问题和整改力度的分类,自动将问题划分至资金问题、项目问题、管理问题或政策问题等类别和立行立改、阶段性整改、长期整改等力度,由此形成本次审计项目的整改问题清单。接着,收集了被审计对象的审计整改情况后,还可借助LLM实现整改进展的智能跟踪与监测,及时对整改进度不达标的被审计对象提供预警,分析评判整改工作是否实现了审计工作的预期目标。
经过近两年大模型技术的迅猛发展,基于海量书籍、百科、新闻等文本数据训练得到的通用LLM已具备一定的语义理解和文本生成能力,结合检索增强生成技术(RAG)即可较快地搭建出一个知识问答的应用。但是实际使用中我们会发现,对于某个特定的垂直领域,因其自身的专业性和语言表达特性,通用LLM往往难以直接达到理想中的性能。因此为了实现行业更好地赋能,垂直行业大模型的应用也已成为趋势,然而众所周知,数据是任何一项AI技术的研发基础,审计行业数据的保密性特点也使得审计行业大模型的研发似乎一直未有比较大的突破。
如今,LLM这一巨大的风口上,运用审计信息化过程中所积累的数据,通过审计智能化建设,审计领域必将沉淀出更加贴合行业业务特性的大模型,审计人员将人手一个审计大模型,它会成为一个全新的、真正具备颠覆性的审计工作模式。