Учеба это не лотерея, метрики лгут

Это статья — ответ на пост, в котором предлагают выбирать курсы исходя из величины конверсии студентов из поступивших в устроившиеся.

При выборе курсов вас должны интересовать 2 цифры — доля людей, дошедших до конца курса и доля выпускников, устроившихся на работу в течение 3-х месяцев после окончания курса.
Например, если курс заканчивают 50% начавших, а на работу в течение 3-х месяцев устраиваются 20% выпускников, то ваши шансы войти в профессию с помощью конкретно этих курсов — 10%.
Внимание будущего студента обращается на две метрики и на этом «советы по выбору» заканчиваются. При этом учебному заведению почему то ставится в вину то, что кто-то из студентов не окончил курс.
Поскольку автор не уточнил, что именно он понимает под «ИТ-профессией», я интерпретирую ее как захочу, а именно «программирование». Всякий блоггинг, IT-менеджмент, SMM и SEO я не знаю, поэтому отвечу только по знакомой области.

На мой взгляд, выбор курсов исходя из двух показателей — в корне неправильный подход, под катом я подробнее опишу почему. Сначала я хотел оставить развернутый комментарий, но текста получилось много. Поэтому оформил ответ отдельной статьей.

Обучение на курсах с целью трудоустройства это не лотерея
Обучение это не вытягивание счастливого билета, а упорная работа над собой. В эту работу входит выполнение студентом домашнего задания. При этом далеко не все учащиеся могут выделить время на выполнение своих заданий. Довольно часто студенты бросают выполнение домашнего задания при первой же трудности. Бывает, что формулировка задания не ложится на контекст студента, но при этом студент не задает ни единого уточняющего вопроса.

Механическая запись всех слов преподавателя тоже не поможет освоить курс, если студент не будет заниматься осмыслением своих записей.

Даже Бьярн Страуструп в руководстве инструктора к своему учебнику по C++ (оригинал перевод) писал:
Of all the things that correlate with success in this course, “spending the time” is the most
important; not previous programming experience, previous grades, or brainpower (as far
as we can tell). The drills are there to get people a minimal acquaintance with reality, but
attending the lectures is essential, and doing some exercises really matterЧтобы преуспеть в изучении курса, студенту в первую очередь нужно «тратить время» на выполнение заданий. Это важнее, чем предыдущий опыт программирования, оценки в школе или интеллектуальные способности (насколько мы можем судить). Для минимального знакомства с материалом достаточно выполнить задания. Однако для полного освоения курса необходимо присутствовать на лекциях и выполнять упражнения в конце глав.
Даже если ученик найдет заведение с конверсией 95%, но будет сидеть сложа руки, то он попадет в безуспешные 5%. Если первая попытка освоить курс с конверсией 50% была безуспешна, то вторая попытка никак не увеличит шансы до 75%. Может быть материал слишком сложный, может быть подача слабая, может быть еще что-нибудь. В любом случае, студенту нужно самому что-то менять: курс, преподавателя или направление. Освоение профессии это не компьютерная игра, где две одинаковых попытки могут увеличить ваши шансы. Это извилистый путь проб и ошибок.

Введение метрики приводит к тому, что деятельность направляется на ее оптимизацию, а не на непосредственно саму работу
Если ваше решение будет зависеть от одной метрики, то вам обеспечат такое значение, которое вас устроит. У вас все равно нет достоверных данных, чтобы проверить этот показатель и способ его расчета.

Один из способов повышения конверсии курса — это ужесточение входного отбора по принципу «на курс попадут только те, кто уже все знает». Пользы от прохождения такого курса нет. Это скорее будет стажировкой за деньги студента. Такие курсы собирают деньги с людей, которые по сути готовы к трудоустройству, но не верят в свои силы. На «курсах» им устраивают краткое повторение и организовывают собеседование в контору, с которой есть связи.

Если учебное заведение будет оптимизировать конверсию поступивших в трудоустроенных таким способом, то многие середнячки отсеются на этапе поступления. Чтобы не портить статистику, учебному заведению проще не пропустить студента, чем научить его.

Другой способ повысить конверсию — считать тех кто «потерялся» в середине «продолжающими обучение». Следите за руками. Допустим на пятимесячный курс поступило 100 человек, в конце каждого месяц теряются по 20 человек. В последний пятый месяц осталось 20 человек. Из них устроились 19. Итого 80 человек считаем «продолжающими обучение» и исключаем из выборки, а конверсию считаем как 19/20. Добавление всяких условий подсчета ситуацию не исправит. Всегда есть способ интерпретировать данные и посчитать целевой показатель «как нужно».

Конверсию могут исказить естественные причины
Даже если конверсия была посчитана «честно», ее могут исказить такие студенты, которые изучают ИТ-профессию не имея цели сменить профессию сразу по окончании обучения.

Например, могут быть причины:

  • Для общего развития. Некоторым нравится смотреть по сторонам, чтобы быть «в тренде».
  • Научиться справляться с рутиной на нынешней офисной работе.
  • Сменить работу в отдаленной перспективе (более 3 месяцев).
  • Оценить свои силы в этой сфере. Например человек может сходить на начальные курсы по нескольким языкам программирования, чтобы выбрать. Но при этом не окончить ни одного.

Некоторым умным людям IT может оказаться не интересно, поэтому они запросто могут уйти в середине обучения. Принуждение их к окончанию курса может повысить конверсию, но реальной пользы этим людям будет мало.

Некоторые курсы не предполагают готовности к смене профессии несмотря на «гарантии» трудоустройства
Например человек успешно прошел только курс по java с фреймворком spring. Если он еще не проходил хотя бы базового курса по git, html и sql, то он не готов даже к позиции джуна.

Хотя на мой взгляд, для успешной работы нужно знать еще операционные системы, компьютерные сети и бизнес-анализ на одну ступеньку глубже, чем типичный обыватель. Изучение одного отдельного навыка позволит решать лишь узкий круг скучных и однообразных задач.

Об области ответственности учебных заведений
А ведь неоконченный учебный курс — это, прежде всего, неудача школы/курса, это их задача — привлечь правильных учеников, отсеять на входе неподходящих, увлечь в ходе курса оставшихся, помочь им пройти курс до конца, подготовиться к трудоустройству.
Перекладывать ответственность за прохождение курса только на учебное заведение так же безответственно, как и полагаться на удачу. Я признаю, что в нашем мире очень много хайпа по этой теме, а значит курсы запросто могут быть неудачными. Однако это не отменяет того, что студенту тоже нужно работать на свой успех.

Гарантия — маркетинговый трюк
Я согласен с тем, что задача учебного заведения — привлечь *правильных* учеников. Для этого нужно выяснить свою позицию, выбрать целевую аудиторию и сформулировать это в своих рекламных материалах. Но и студентам не нужно искать именно «гарантию трудоустройства». Этот термин — выдумка маркетологов для привлечения потенциальной ЦА. На работу можно устроиться и со стратегией:

  • Пройти несколько отдельных курсов без гарантии
  • Несколько раз попытаться пройти собеседование
  • Проводить работу над ошибками после каждого собеседования
  • Про предварительный отсев
    Задача отсева неподходящих студентов проста только для курсов со строгим отбором, про которые я писал выше. Вот только их цель не обучение, а первичный отсев за деньги студентов.

    Если же цель — действительно научить человека, то отсев становится крайне нетривиальным. Сложно, очень сложно составить такой тест, который позволит за короткое время и с достаточной точностью определить сроки обучения для одного конкретного человека. Студент может быть умным и сообразительным, но при этом будет мучительно долго печатать код, писать write-only конспекты, тупить на тривиальных операциях с файлами и иметь проблемы с поиском опечаток в тексте. Львиная доля времени и сил у него будет уходить просто на оформление запускающейся программы.

    В то же время, аккуратный и внимательный студент, которые понимает английский текст, будет иметь фору. Ключевые слова для него не будут иероглифами, а забытую точку с запятой он обнаружит через 30 секунд, а не через 10 минут.

    Срок обучения можно пообещать исходя из самого слабого студента, но в итоге может получиться 5 лет как в ВУЗах.

    Увлекательность курса
    Я в целом согласен, что курс должен быть достаточно увлекательным. Существуют две крайности. С одной стороны скудный по содержанию курс, который подается живо и весело, но без пользы. С другой стороны — сухая выжимка ценной информации, которая просто не усваивается из за подачи. Как и везде важна золотая середина.

    Однако может так получиться, что курс будет увлекателен для одних людей и при этом вызывать неприятие у других только за счет своей формы. Например изучение java в игре про кубический мир от майкрософт вряд ли одобрят взрослые «серьезные» люди. Даже несмотря на то, что концепции будут изучаться те же самые. Однако в школе такой формат обучения программированию будет иметь успех.

    Помощь отстающим
    По поводу помощи в прохождении курса до конца я снова процитирую Бьярна Страуструпа (оригинал перевод):
    If you are teaching a large class, not everyone will pass/succeed. In that case you have a choice which in its crudest for is: slow down to help the weaker students or keep up the
    pace and lose them. The urge and pressure is typically to slow down and help. By all
    means help –and supply extra help through teaching assistants if you can – but don’t slow
    down. Doing so would not be fair to the smartest, best prepared, and hardest working
    students – you’ll lose them to boredom and lack of challenge. If you have to lose/fail
    someone, let it be someone that will never become a good software developer or
    computer scientist anyway; not your potential star students. Если вы преподаете в большой группе, далеко не все будут справляться. В этом случае вам нужно принять тяжелое решение: замедлиться для помощи слабым студентам или держать темп и потерять их. Всеми фибрами души вы бы будете стремиться притормозить и помочь. Помогайте. Всеми доступными способами. Но ни в коем случае не замедляйтесь. Это будет нечестно для умных, подготовленных и упорно работающих студентов — от отсутствия сложных задач они заскучают, и вы их потеряете. Раз вы в любом случае кого-нибудь потеряете, пускай это будут не ваши будущие звезды, а те, кто никогда не станет хорошим разработчиком или ученым.Иными словами, преподаватель не сможет помочь абсолютно всем. Кто-то все равно отсеется и «испортит конверсию».

    Что делать?
    В начале своего пути вообще не нужно смотреть на метрики по трудоустройству. Путь в IT может быть долгим. Рассчитывайте на год-два. Одного курса «с гарантией» вам точно не хватит. Кроме прохождения курсов нужно еще развивать свои собственные навыки владения компьютером: умение быстро печатать, искать информацию в интернете, анализировать тексты и прочее.

    Если вообще смотреть на какие-либо показатели курсов, то в первую очередь нужно смотреть на цену и сначала пробовать бесплатные, затем дешевые и только потом — дорогие.

    Если у вас есть способности, то бесплатных курсов будет достаточно. Как правило в них нужно будет много читать и слушать самостоятельно. Проверять задания у вас будет робот. Такой курс не жалко будет бросить на середине и попробовать другой по той же теме.

    Если бесплатных курсов по теме нет хаха, то ищите комфортные для вашего кошелька. Желательно с возможностью частичной оплаты, чтобы иметь возможность бросить его.

    Если возникают необъяснимые проблемы с освоением, тогда нужно обращаться за помощью к преподавателю или наставнику. Это всегда будет стоить денег, поэтому ищите где вам могут предложить консультационную форму занятий с почасовой оплатой. При этом не нужно воспринимать наставника как живой гугл, у которого можно спрашивать в терминах «я хочу вот эту фигню вот так сделать». Его роль — сориентировать вас и помочь найти нужные слова. На эту тему можно еще много чего написать, но я не буду сейчас углубляться.

    Спасибо за внимание!

    P.S. Если вы нашли опечатки или ошибки в тексте, пожалуйста, сообщите мне. Это можно сделать выделив часть текста и нажав «Ctrl / ⌘ + Enter», если у вас есть Ctrl / ⌘, либо через личные сообщения. Если же оба варианта недоступны, напишите об ошибках в комментариях. Спасибо!

    Оставить комментарий