У статті відмічено подібність між стохастичним оптимальним керуванням дискретними динамічними системами та навчанням багатошарових нейронних мереж. Роботу зосереджено на дослідженні сучасних глибоких мереж з неопуклими негладкими функціями втрат та активації. Проблеми машинного навчання розглянуто як неопуклі негладкі задачі стохастичної оптимізації. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовні функції. Метод зворотного обчислення стохастичних узагальнених градієнтів функціоналу якості навчання для таких систем обґрунтовано на основі формалізму Гамільтона–Понтрягіна. Стохастичні узагальнені алгоритми градієнтного навчання поширено для навчання неопуклих негладких нейронних мереж. Ефективність стохастичного узагальненого градієнтного алгоритму проілюстровано прикладом лінійної багатокласової класифікаційної задачі.