Наверное имелось ввиду что на каггле модели оцениваются на одной конкретной тестовой выборке. Понятно что в контексте победы возможно будет перекос в предельно аккуратный предикшен в ущерб интерпретабельности и других важных аспектов модели. И что оценка перфоманса модели на одной конкретной тестовой выборке без хорошего понимания предметной области тоже может быть не корректной.
Но победа на каггле не самоцель — его логично рассматривать как площадку где можно отлично попрактиковаться на реальных данных, сравнить модели и методы.
Так что вы оба правы по-своему.

Автору спасибо за статью, очень толковое изложение материала!
Интересно было бы узнать о компаниях у нас которые реально применяют Data Science.
Во многих случаях, к сожалению, понятие Data Science трактуется не корректно и скорее напоминает аналитику и отчетность.