|
Яровий, А. А. Підхід до генерації тексту на основі мовної моделі BERT [Електронний ресурс] / А. А. Яровий, Д. С. Кудрявцев // Вісник Вінницького політехнічного інституту. – 2024. – № 6. – С. 113-120. – DOI: https://doi.org/10.31649/1997-9266-2024-177-6-113-120.
Запропоновано застосування мовної моделі BERT для задач пошуку і генерації термів у термінологічних базах знань (ТБЗ) з використанням оптимізації для інтелектуальних чат-ботів. Описується архітектура моделі BERT, механізм уваги, алгоритми обробки тексту та основні етапи навчання моделі. Розглянуто використання BERT для семантичного пошуку термів, а також методи адаптації моделі для генерації тексту з урахуванням семантичної цінності кожного терму. Виконано порівняльний аналіз мовної моделі BERT з моделями серії GPT, який продемонстрував сильні та слабкі сторони BERT у контексті пошукових і генеративних задач. У статті також детально розглянуто метрики оцінки якості пошуку термів, такі як Precision, Recall, F1-score, Mean Reciprocal Rank (MRR), Normalized Discounted Cumulative Gain (nDCG) тощо, які дозволяють комплексно оцінювати ефективність пошуку та генерації термів. Розглянуто практичні аспекти інтеграції BERT у системи управління знаннями та надано рекомендації щодо донавчання моделі для вузькоспеціалізованих ТБЗ. |