Разговорите с поддръжката рядко са кратки. Клиент пише, агентът задава въпрос, колега добавя бележка, нишката затихва за два дни и после се подновява. Досега всяка от тези реплики оставаше в работната памет на агента в пълен вид и щом историята надхвърлеше контекстния прозорец на модела, изпълнението се проваляше.
Това ограничение го няма. Агентите вече обобщават историята на разговора, докато работят.
Как работи
Всеки агент пази дословно определен брой от последните реплики. Щом историята надхвърли настройваем праг, агентът написва кратко обобщение на по-старите реплики и запазва само него и последните реплики. Следващото съобщение получава отговор със същия контекст, който агентът винаги е имал, само изразен с по-малко токени.
Три неща остават непроменени:
- Последните реплики се запазват дословно. Обобщават се само по-старите части, така че подробностите за току-що случилото се са винаги непокътнати.
- Пълната транскрипция все още се съхранява. Обобщаването влияе на това, което вижда моделът на следващата реплика, а не на това, което виждате вие. Дневникът на сесията пази всяко съобщение.
- Обобщенията са видими. Всяко обобщаване се записва в дневника на изпълнението, заедно с текста на обобщението, така че винаги можете да видите коя информация агентът е запазил.
Какво би трябвало да забележите
Дългите разговори просто продължават да работят. На практика това означава:
| Преди | Сега |
|---|---|
| Дългите нишки се проваляха, щом историята надхвърли контекстния прозорец | Нишките продължават, историята се обобщава автоматично |
| Разходът растеше с всяка реплика в нишката | Разходът остава приблизително постоянен след първото обобщаване |
| Ръчни рестарти, за да се изчисти историята | Не са нужни рестарти |
Друго предимство са по-предвидимите разходи. В нишка от сто съобщения всяка реплика досега изпращаше наново цялата история. С обобщаването обемът на една реплика се установява на предвидим размер, вместо да расте безкрайно.
Как да го включите
Обобщаването е включено по подразбиране за нови агенти и може да се настройва за всеки агент поотделно в неговите настройки. Вие определяте колко от последната история да остава дословно и колко подробно да се обобщава по-старата част. Ако предпочитате да запазите пълната история за конкретен агент, можете да изключите обобщаването и агентът се връща към твърдо ограничение на дължината на историята.
Ако управлявате агент, при който всеки по-ранен детайл има значение, оставете повече реплики в оригиналния им вид. Обобщенията са добри, но оригиналната реплика винаги е по-добра от описание на нея.
Както винаги, нищо от това не променя къде се съхраняват вашите данни и как се използват. Съдържанието на разговорите не се използва за обучение на модели, нито от нас, нито от който и да е доставчик на модели, към когото маршрутизираме.