2024年12月20日，神州數(shù)碼旗下神州問學(xué)產(chǎn)品在arXiv上發(fā)布了一篇名為《Adaptable and Precise: Enterprise-Scenario LLM Function-Calling Capability Training Pipeline》的論文。該研究專注于構(gòu)建一個(gè)適應(yīng)性強(qiáng)且精準(zhǔn)的企業(yè)場(chǎng)景大型語言模型（LLM）功能調(diào)用能力訓(xùn)練流程，能夠更好地驅(qū)動(dòng)AI智能體應(yīng)用。隨著企業(yè)對(duì)人工智能解決方案的需求日益復(fù)雜化和具體化，這一訓(xùn)練流程旨在提升大模型在特定業(yè)務(wù)環(huán)境下的響應(yīng)能力和操作效率，通過定制化的訓(xùn)練讓模型能夠更好地理解和執(zhí)行企業(yè)級(jí)的任務(wù)指令。這篇論文代表了神州問學(xué)在推動(dòng)AI技術(shù)更貼近實(shí)際應(yīng)用、為企業(yè)提供更具針對(duì)性的智能服務(wù)方面所作出的努力。

論文作者：曾冠程、丁文韜、徐貝凝、張弛、韓文強(qiáng)、李剛、莫晶晶、邱鵬旭、陶心然、汪濤、胡浩文（通訊）

在當(dāng)今數(shù)字化的企業(yè)中，各種API接口組成了業(yè)務(wù)的核心，如何高效利用這些資產(chǎn)以提高操作效率是企業(yè)面臨的主要挑戰(zhàn)。通用的LLM（大語言模型）雖在一般功能調(diào)用任務(wù)中表現(xiàn)不俗，但在精細(xì)化企業(yè)場(chǎng)景下，頻發(fā)的計(jì)算資源瓶頸和功能調(diào)用精度問題仍待解決?；诖耍裰輪枌W(xué)提出需要一種高效的訓(xùn)練流水線，專為企業(yè)制定，以滿足其特定需求。

場(chǎng)景數(shù)據(jù)合成與增強(qiáng)

在生成式AI時(shí)代，AI智能體通過調(diào)用函數(shù)工具（如API、算法、代碼流程等）來實(shí)現(xiàn)復(fù)雜任務(wù)的分解與執(zhí)行，并與企業(yè)系統(tǒng)整合以提升運(yùn)營效率。然而，對(duì)于專業(yè)場(chǎng)景，開源或商用的大模型由于特定場(chǎng)景的訓(xùn)練數(shù)據(jù)的局限性，在提供準(zhǔn)確、穩(wěn)定的函數(shù)調(diào)用指令方面存在明顯不足，主要體現(xiàn)在函數(shù)解析、選用、參數(shù)填寫及使用場(chǎng)景識(shí)別上的錯(cuò)誤。這不僅影響了任務(wù)執(zhí)行的準(zhǔn)確性，還導(dǎo)致了資源浪費(fèi)和響應(yīng)速度減慢等問題，為了解決這些問題，需要針對(duì)專業(yè)場(chǎng)景進(jìn)行特定的數(shù)據(jù)合成。基于少量的真實(shí)種子數(shù)據(jù)自動(dòng)化生成高質(zhì)量、多樣化的訓(xùn)練集，從而讓模型獲得適應(yīng)特定業(yè)務(wù)環(huán)境的能力。這種方法不僅能克服數(shù)據(jù)稀缺的問題，還能顯著改善模型的專業(yè)場(chǎng)景適用性和經(jīng)濟(jì)效益。 

在數(shù)據(jù)合成與增強(qiáng)階段，神州問學(xué)使用14個(gè)工作流集合生成了一套完整的訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)包括1260個(gè)全自動(dòng)生成的樣本和1035個(gè)人工標(biāo)注增強(qiáng)樣本，確保了模型能夠在實(shí)際業(yè)務(wù)中精準(zhǔn)調(diào)用對(duì)應(yīng)工具，提取正確的參數(shù)。數(shù)據(jù)的多樣性和量度大幅提升了模型的泛化能力，使其能更好地適應(yīng)不同的業(yè)務(wù)需求。

圖2：14種數(shù)字人力資源場(chǎng)景工具的數(shù)據(jù)量和分布

LoRA微調(diào)：資源優(yōu)化的解決方案

在模型微調(diào)階段，神州問學(xué)選擇了Qwen2.5-Coder-7B-Instruct模型作為基礎(chǔ)模型，并通過LoRA方法在四個(gè)24GB VRAM的GPU上進(jìn)行微調(diào)。LoRA（Low-Rank Adaptation）方法不僅減少了參數(shù)過多的問題，還顯著降低了計(jì)算資源的消耗，使得中小型企業(yè)也能輕松負(fù)擔(dān)模型訓(xùn)練所需的資源。這種方法在約五小時(shí)的訓(xùn)練后，微調(diào)模型在評(píng)估中表現(xiàn)優(yōu)異，結(jié)構(gòu)完整性、工具選擇準(zhǔn)確性和參數(shù)輸入準(zhǔn)確性均超過了GPT-4o。

表1：不同基礎(chǔ)模型對(duì)訓(xùn)練性能的影響

量化模型性能：精準(zhǔn)評(píng)估工具選擇與調(diào)用

在評(píng)估模型性能時(shí)，神州問學(xué)采用了基于AST的方法，對(duì)模型生成的函數(shù)調(diào)用指令進(jìn)行逐步解析。這一方法不僅有效評(píng)估了模型的結(jié)構(gòu)完整性、工具選擇準(zhǔn)確性和參數(shù)輸入準(zhǔn)確性，還通過混淆矩陣分析，進(jìn)一步優(yōu)化了工具功能描述，提高了模型的整體表現(xiàn)。此外，評(píng)估方法還具備多方面優(yōu)勢(shì)，包括無需實(shí)際執(zhí)行調(diào)用指令、高效驗(yàn)證輸出結(jié)果等，這些都確保了評(píng)估過程的全面和高效。

展望未來：多領(lǐng)域的應(yīng)用潛力

神州問學(xué)的這一創(chuàng)新解決方案，不僅在DHR場(chǎng)景中取得了顯著成效，還展示了其在其他專業(yè)領(lǐng)域的廣泛應(yīng)用潛力。無論是集成邊緣設(shè)備中的邊緣模型支持診斷系統(tǒng)，還是為組織內(nèi)的超級(jí)員工提供動(dòng)力，這一解決方案都具備廣闊的應(yīng)用前景。未來，通過引入數(shù)據(jù)反饋模塊，系統(tǒng)將能夠結(jié)合用戶與代理應(yīng)用的交互數(shù)據(jù)，自動(dòng)進(jìn)行數(shù)據(jù)標(biāo)注并持續(xù)迭代優(yōu)化模型，進(jìn)一步增強(qiáng)企業(yè)的智能化水平。

神州問學(xué)通過其功能調(diào)用能力訓(xùn)練流水線，不僅解決了企業(yè)智能化轉(zhuǎn)型中的實(shí)際難題，還為企業(yè)提供了經(jīng)濟(jì)高效的模型訓(xùn)練方法。這一創(chuàng)新解決方案的成功應(yīng)用，必將推動(dòng)更多企業(yè)實(shí)現(xiàn)智能化、高效化的業(yè)務(wù)運(yùn)作，開啟企業(yè)智能化發(fā)展的新路徑。