Бутстрап — це один із методів випадкової вибірки із заміною, який був запропонований для вирішення проблеми малих вибірок, розподіли яких важко отримати. Розподіл початкових вибірок є емпіричним або вільним, і завдяки його випадковій вибірці з заміною ймовірність вибору конкретного спостереження може дорівнювати одиниці. На жаль, коли вихідні дані вибірки містять викид, виникає серйозна проблема, яка призводить до поломки оцінки OLS (звичайних методів найменших квадратів), тому слід рекомендувати робастні методи регресії.