| |
Tarnovskyi, A. Logarithmic transformation of input activations in convolutional network neurons: An approach and analysis of effectiveness using MNIST classification as an example [Текст] / A. Tarnovskyi // Інформаційні технології та комп'ютерна інженерія. – 2026. – Т. 23, № 2. – P. 100-108. – DOI: https://doi.org/10.31649/vitce/2.2026.100.
Метою дослідження було вдосконалення архітектури згорткової нейронної мережі за рахунок застосування логарифмічного перетворення вхідних активацій у нейронах згорткових шарів та дослідження його впливу на точність класифікації та стійкість нейромережі до змін яскравості зображень. Розглянуто математичну модель модифікованого нейрона, що оцінює вхідний сигнал через логарифмічне перетворення виду y ln(x + 1), де y є додатковим навчальним параметром, що визначає ступінь нелінійного стиснення сигналу. Такий підхід дозволив зробити нейрон чутливим до відносних змін вхідних сигналів, зменшити вплив великих значень активацій та потенційно покращити стабільність процесу навчання. Було проведено аналіз градієнтів навчальних параметрів нейронної мережі в межах методу зворотного поширення помилки. Показано, що логарифмічне перетворення змінює характер оновлення ваг, підсилюючи градієнт при малих значеннях сигналу та послаблюючи для великих. Окрему увагу було приділено параметру y, який виступає як глобальний коефіцієнт масштабу для нейронного шару і дозволяє мережі самостійно налаштовувати рівень нелінійності. |