Виконано порівняння сучасних метрик оцінювання узгодженості (agreement coefficients) між результатами експериментів і експертною думкою та оцінено можливість використання цих метрик під час проведення експериментальних досліджень у галузі автоматичного оброблення текстів методами машинного навчання. Обґрунтовано вибір коефіцієнта каппа Коена як міри оцінювання узгодженості думок експертів у задачах NLP та Text Mining. Наведено приклад застосування коефіцієнта каппа Коена для оцінювання рівня узгодженості між думкою експерта і результатами ML класифікації та міри узгодженості думок експертів у випадку вирівнювання речень казахсько-російського паралельного корпусу.