| |
Бондар, В. В. Масштабування обчислень під час генерації якуніверсальний принцип для генеративних моделей [Текст] / В. В. Бондар, В. Г. Бабенко, Д. Є. Козлов // Телекомунікаційні та інформаційні технології. – 2025. – № 4. – С. 229-234. – DOI: https://doi.org/10.31673/2412-4338.2025.048926.
Роботу присвячено аналізу концептуальних аналогій між ітеративними процесами уточнення в різних архітектурах генеративних моделей. У великих мовних моделях масштабування реалізується через ланцюжок міркувань, де проміжні токени послідовно уточнюють представлення задачі. Дифузійні моделі досягають аналогічного ефекту через багаторазові кроки розшумлення, трансформуючи шум у структуровані дані. Моделі узгодження потоків використовують контроль точності інтегрування траєкторій між розподілами. Всі підходи об'єднує спільний принцип: виділення додаткових обчислень для послідовного уточнення трансформації імовірнісних розподілів. Дослідження встановлює, що за фіксованого бюджету, або обмеженості ресурсів,компактні моделі з додатковими обчисленнями під час генераціїможуть перевершувати архітектури на порядок більші. |