Մեծ լեզվական մոդելները LegalTech-ում
Ուսումնասիրում ենք, թե ինչ կարող են անել LLM Agent-ները EU AI Act-ի շուրջ կառուցված Chatbot-ի համար։
Ուսումնասիրում ենք, թե ինչ կարող են անել LLM Agent-ները EU AI Act-ի շուրջ կառուցված Chatbot-ի համար
LLM-ների վրա հիմնված հավելվածները հայտնվում են այնպիսի ոլորտներում, ինչպիսիք են հաճախորդների սպասարկումը, բժշկական ոլորտը և Legal Tech-ը։ Հաճախորդների սպասարկումը (որպես մեկ կոնտակտային կետ բազմաթիվ հարթակներում) և բժշկական ոլորտը (օր.՝ բժշկության համար հարմարեցված Meditron մոդելը) մեծ առաջընթաց են գրանցել, սակայն Legal Tech-ում ավելի լայն կիրառումը դեռևս սահմանափակ է։
Այս գրառումը դիտարկում է LLM-ների օգտագործումը LegalTech-ում՝ սկսելով նրանից, թե ինչու է դա դժվար։ Այնուհետև հակիրճ կնկարագրենք, թե ինչպես է կառուցված EU AI Act-ը (մենք այն օգտագործում ենք որպես ռեսուրս մեր օրինակում), կներկայացնենք CrewAI անունով agentic framework-ը և ցույց կտանք նամակ գրող համակարգ, որը ներկայացնում է EU AI Act-ի բերած փոփոխությունները։
Ինչն է LegalTech-ը դարձնում դժվար։
Նախ տեսնենք, թե ինչու է LegalTech-ն այդքան դժվար։ Հավանաբար անցել եք համաձայնագրերի կամ կանոնադրությունների միջով, որոնցում ձևակերպումները չափազանց ճշգրիտ են և լի ռեակտիվ իրավական կոդին հղումներով, ինչպես նաև այլ օրինագծերի հոդվածներին խաչաձև հղումներով։
Ինչ վերաբերում է ճշգրիտ ձևակերպումներին, «տիրապետումը» (possession) և «սեփականությունը» (ownership) լավ օրինակներ են. ոչ մասնագետի համար դրանք մոտավորապես նույն բանն են նշանակում, բայց իրավական լեզվում դրանք վերաբերում են բոլորովին տարբեր իրավիճակների։
Մեկ այլ կարևոր խնդիր այն է, որ օրենքը շարունակաբար զարգանում է. որոշ օրինագծեր չեղարկվում են (օր.՝ ԱՄՆ Սենատի կողմից պետական պարտքի առաստաղի բարձրացման մասին օրինագծի ընդունումը), իսկ որոշ հին օրենքներ շարունակում են գործել (օր.՝ Օհայոյում չի կարելի շան վրա դեմքեր շինել)։
Վերջապես, հարց կա այն մասին, թե ինչպես է օրենքը կիրառվում տարբեր երկրներում։ ԱՄՆ-ում նախադեպերը կարելի է վկայակոչել դատարանում (ինչը հաճախ երևում է հեռուստասերիալներում), մինչդեռ քաղաքացիական իրավունքի երկրներում նախադեպերը շատ ավելի քիչ կշիռ ունեն, քան ԱՄՆ-ում։ Սա ցույց է տալիս, թե ինչպես են իրավաբանների ռազմավարությունները տարբերվում երկրից երկիր։
LLM հավելվածները հակված են յուրաքանչյուր քայլում մոտարկման սխալներ թույլ տալ (իսկ «բավական մոտ»-ը վատ մոտեցում է, երբ խոսքը օրենքի մասին է), ուստի LLM agent-ների վրա կառուցված pipeline-ները կարող են այս խնդիրը լուծելու միջոց լինել։
Մեծ լեզվական մոդելների վրա հիմնված LegalTech-ի ընթացիկ լուծումները
Այս Stanford-ի հոդվածը տալիս է LegalTech-ում օգտագործվող հանրահայտ RAG-երի սխալների և ներկայիս արդյունավետության խորաթափանց վերլուծություն (դրանց թվում՝ Lexis+ AI Westlaw, Practical Law, և GPT-4)։
Նրանց վերլուծությունը ցույց է տալիս, որ բարելավման մեծ տեղ կա (նույնիսկ լավագույնը դեռ հալյուցինացիա է անում հարցումների 17%-ի դեպքում)։
Յուրաքանչյուր լուծում զոհ գնաց RAG-ի այն ենթադրությանը, թե «նման տեքստերը համապատասխան են», և զգալիորեն հալյուցինացիա արեց որոշակի իրավազորության կամ ժամանակի հետ կապված հարցումների դեպքում, երբ տրամադրված հիմնավորումները չէին համապատասխանում պատասխանին։
Ավելին, լուծումների մեծ մասը կրում է թերի պատասխաններ տալու իրական ռիսկ, որոնք բավարար հիմնավորում չունեն։
EU AI Act

EU AI act-ի ռիսկերի բուրգը՝ ըստ սահմանման հետևյալ աղբյուրի՝ https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai
EU AI Act – ինչի մասին է այն։
Վերջին մի քանի ամիսների ընթացքում բոլորը խոսում են EU AI Act-ի մասին, քանի որ դա AI-ի համար առաջին նման կարգավորիչ նախաձեռնությունն է։ Այն բավական հեշտ է կարդալ և շատ այլ օրինագծերի չի հղվում (եթե հետաքրքրված եք, կարող եմ խորհուրդ տալhttps://artificialintelligenceact.eu/ai-act-explorer/)։
Իր հիմքում այն սահմանում է ռիսկերի բուրգ, որը համապատասխանեցված է ռիսկի չորս մակարդակի՝ անընդունելի ռիսկ (արգելված պրակտիկաներ), բարձր ռիսկ (կարգավորվող բարձր ռիսկային համակարգեր), սահմանափակ ռիսկեր (պահանջվում է թափանցիկություն), և ցածր ու նվազագույն ռիսկ (առանց պարտավորությունների)։
Տվյալների հավաքածուի տեխնիկական դիտարկում
Հաշվի առնելով, որ այն առանձնապես բարդ չէ և առաջին նման կարգավորումն է, այն խելամիտ ընտրություն է մեր agent օրինակի համար, ուստի այն ընտրեցինք որպես մեր ռեսուրսներից մեկը։
Տեխնիկապես ասած՝ EU AI act-ը պարունակում է ավելի քան 78 հազար բառ և բաղկացած է 13 գլխից (ընդհանուր 113 հոդված) և 13 հավելվածից (առայժմ)։
Agentic workflow-ի կառուցումը
CrewAI – պարզ agentic framework բարդ խնդիրների համար
AI agentic workflow կառուցելու համար կան բազմաթիվ framework-ներ (առնվազն 3). Langchain թիմի Langgraph-ը, Microsoft-ի AutoGen-ը և, վերջապես, CrewAI-ը – այն, որ մենք կօգտագործենք այս գրառման մեջ, քանի որ այն պարզ է և հեշտ աշխատելու համար։
CrewAI-ը կառուցված է բավական պարզ՝ բաժանված է tool-երի, agent-ների և task-երի։
Tool-եր
Այն տրամադրում է tool-երի լայն շրջանակ՝ ընդհանուր նշանակության վեբ scraper-ներից, մասնագիտացված ֆայլ ընթերցողների միջոցով (օր.՝ PDF կամ Markdown), մինչև հատուկ որոնման tool-եր (օր.՝ Github կամ YouTube)։
Agent-ներ
Agent-ները նկարագրվում են երեք հիմնական պարամետրերով՝
- նրանց դերը pipeline-ում (օր.՝ Analyst)
- նրանց նպատակը – ինչին են նրանք ձգտում (օր.՝ հաշվետվություն գրել վերցված տեղեկատվությունից)
- նրանց backstory-ն – որը ձևավորում է նրանց բնավորությունն ու վարքը։
Task-եր
Task-երն իրենց հերթին նկարագրվում են՝
- task-ի նկարագրությամբ
- նշանակված agent-ով
- ակնկալվող արդյունքով – մի սպեցիֆիկացիա այն մասին, թե ինչ ենք ուզում ստանալ որպես արդյունք։
Կարգավորում
Agent-ների կարգավորումը
Այս խնդրի համար մենք կարգավորեցինք 3 agent, որոնցից յուրաքանչյուրը ունի իր task-երը՝
- Senior Paralegal, որը կատարում է հետազոտության հիմնական մասը և գրում է ընդհանուր հաշվետվություն EU AI Act-ի շրջանակներում հաճախորդի իրավիճակին վերաբերող իրավական փոփոխությունների մասին։
- Law Associate – հիմնվում է paralegal-ի հաշվետվության վրա, ավելացնում է ոլորտի վերաբերյալ ավելի լայն իրավական գիտելիք և բացահայտում է ռիսկերն ու առավելությունները հաճախորդի ոլորտի համար՝ EU AI act-ի ուժի մեջ մտնելուց հետո։
- Senior Partner – հաճախորդին գրում է հստակ նամակ անձնական հպումով՝ իրավական ժարգոնը վերածելով ավելի հեշտ հետևելի լեզվի։
Այստեղ առաջնորդ չկա, և agent-ները աշխատում են մեկը մյուսի հետևից (յուրաքանչյուրի արդյունքը փոխանցվում է որպես լրացուցիչ մուտք հաջորդին։
Tool-երի կարգավորումը
Ինչ վերաբերում է tool-երին, Senior Paralegal-ը և Law Associate-ը կարող են օգտագործել Google և կատարել EU AI Act կայքի ավելի խորը վեբ scraping՝ օգտակար տեղեկատվություն հավաքելու համար։ Senior Partner-ը միայն վերաշարադրում է associate-ի հաշվետվությունը ավելի պարզ լեզվով հաճախորդի համար։
Այս փորձում յուրաքանչյուր agent որպես իր backend LLM օգտագործեց GPT-4o՝ իր մեծ կոնտեքստի պատուհանի պատճառով։
Արդյունքներ
Այստեղ մենք որակապես համեմատում ենք երկու կարգավորումների տված պատասխանները՝
- Պարզ chatGPT, որին տրված է տվյալ մուտքը։
- Վերը նկարագրված agentic workflow-ը
ChatGPT-ին տրված մուտքային prompt-ը
GPT4-o-ով chatGPT-ին փոխանցված մուտքը ցույց է տրված ստորև՝
gpt4-o-ով ChatGPT-ին պարզ հարցման արդյունքը ցույց է տրված ստորև՝
Agentic workflow-ի արդյունքը ցույց է տրված ստորև՝
Համեմատություն
Պարզ ChatGPT-ի արդյունքն ավելի շատ նման է օրինագծից կամ հոդվածից վերցված հատվածի, մինչդեռ agentic workflow-ի արդյունքը շատ ավելի գրավիչ է և հեշտ հասկանալի։
Բացի այդ, chatGPT-ի պատասխանների որոշ իտերացիաներ մեջբերում էին փաստերին չհամապատասխանող հոդվածներ և չունեին համապատասխան իրավական հիմնավորում։
Բոնուս՝ AgentOps – LLM Agent-ների observability
Քանի որ կոնսոլի արդյունքը կարող է որոշ չափով խառնաշփոթ և դժվար ընթեռնելի լինել, կան այլ գործիքներ, որոնք հեշտացնում են հասկանալն ու հետևելը, թե ինչ է կատարվում։ AgentOps-ը դրանցից մեկն է։
Ինչպե՞ս է այն տեսք ունենում։
Ընդամենը մի քանի տողով, որոնք կանչում են agent ops և սահմանում են ճիշտ API բանալիները, կարող եք տեսնել հետևյալը և ավելի լավ հետևել ծախսերին (agent-ները ավելի թանկ են աշխատում, քանի որ պահանջում են մի քանի հաջորդական LLM հարցումներ), մշակման ժամանակին (ավելի շատ հարցումներ = ավելի երկար մշակում), հաղորդակցություններին և միջանկյալ արդյունքներին։
Եզրակացություններ
Այս գրառման մեջ մենք բացատրեցինք, թե ինչու է LegalTech-ը դժվար LLM-ների համար, մեկ անգամ ևս անցանք EU AI Act-ի հիմունքներով, քննարկեցինք Crew AI framework-ը՝ agentic workflow-ներ կառուցելու համար, ցույց տվեցինք իրավական խորհրդատվության օրինակային արդյունք և հակիրճ համեմատեցինք պարզ chatGPT-ն agentic workflow-ների հետ։
Որպես բոնուս՝ դիտարկեցինք AgentOps-ը որպես observability գործիք, որն օգնում է ավելի լավ հասկանալ, թե ինչպես է իրեն պահում մեր կառուցած համակարգը։
Եթե ցանկանում եք բացահայտել այն ամենը, ինչ AI-ն կարող է առաջարկել փորձագիտորեն կառուցված LLM-ների միջոցով, մի տատանվեք կապվել մեզ հետ։ Ուրախ կլինեմ խոսել ձեր օգտագործման դեպքի մասին։