Python conf in Kharkiv, Nov 16 with Intel, Elastic engineering leaders. Prices go up 21.10

Рейтинг разработчиков или Серебряная пуля профессора Эло

Рейтинг и грейд почти синонимы, точно также и эта статья очень близка к циклу предыдущих, в ней точно также затрагивается вопрос «какой разработчик должен получать больше?». И в то же время она стоит особо и люба мне особенно, так как в ней, помимо краткой характеристики родовых недостатков существующих систем грейдинга, есть много позитива:

  • приводится принципиально иной подход, по аналогии, а также с точек зрения объективности, минимальности затрат и скорости получения результатов;
  • представлено практическое применение подхода на базе анализа до 10 тысяч профилей украинских фрилансеров на oDesk и Elance (насколько мне известно, впервые) и их выполненных проектов более чем на 100 млн. грн. за текущий и прошлые годы;
  • дан пример, как быстро и малозатратно (7 дней и 4 доллара) создать крайне нетребовательный к ресурсам альфа-прототип, годный для старта любого стартапа, и приведен перечень годных для этого инструментов;
  • показан ряд графиков, характеризующих состояние и динамику украинской фриланс-разработки.

Горы, породившие мышей

Ряд существующих систем грейдов, рассмотренных в цикле статей, а также европейская e-CF 2.0 (ничем принципиально, кроме большей сложности, не отличающаяся, по сути, от той же российской) справедливо критикуются за нечеткость критериев (несколько особняком стоит O*NET, использующая статистический подход, но стоимость ее поддержки превышает доход всего украинского фриланса).

Почти все перечисленные системы, без привлечения консультантов и проведения дополнительных тестов сотрудников, дают лишь то (причем с несоизмеримыми от абсолютно негарантированного эффекта затратами), что и так очевидно мало-мальски опытному менеджеру. Единственный числовой критерий, причем довольно сомнительный, который могут рекомендовать эти системы — это опыт работы в годах. Все остальное — в стиле «улучшить, ускорить, углыбить».

Все это оставляет лазейку для использования данных систем в целях придания налета объективности прокрустову ложу махрового субъективизма в стиле сказки «принеси то, не знаю что». «Зачетно» закрученная фраза, верно?

Такую оценку также можно было бы считать субъективным мнением с легким налетом самоиронии, если бы она не была, к сожалению, очевидной.

Так неужели же нет простых и достаточно объективных методик? Ведь еще древний грек Зенон логически безупречно доказал, что Ахиллес никогда не догонит черепаху, а ведь догонял и обгонял.

Хелло, Эло!

От проблем, связанных с «прокрустовым ложем махрового субъективизма», немало страдали и шахматные гроссмейстеры в XIX и XX веках. Например, на лучшие турниры гроссмейстеров отбирали исключительно по симпатиям и субъективному мнению о силе шахматистов организаторов. Даже в матчах за звание чемпиона мира творилось полное безобразие. Тот же гениальный Капабланка, будучи в ранге чемпиона мира, долго избегал матча с Алехиным, предпочтя обломать старые зубы Ласкеру. Алехин впоследствии отплатил Капе той же монетой и даже вдвойне, навсегда лишив мир зрелища «битвы титанов».

В 50-х годах 20 века профессор Эло разработал систему рейтингов на статистической основе, в которой лежало допущение, что сила игрока может быть выражена переменной, подчиняющейся закону нормального распределения.

Эта система стала основой для отбора игроков на крупнейшие и престижные шахматные турниры и практически устранила проблемы, связанные с субъективным отбором игроков на турниры (читай, проекты), т.е. оказалась действительно «серебряной пулей». К примеру, Карпов и Каспаров не смогли повторить трюки Капабланки и Алехина и были вынуждены биться за звание чемпиона на протяжении 7 лет в 5-ти матчах.

Ссылки на то, что данные рейтинги составлены для игр, в которых принимают участие двое, сути аналогии не меняют (и кроме того, второго соперника всегда можно выдумать, т.е. рассчитать как «виртуального среднего» и т.д., а под результатом партии понимать сумму за период и т.п.).

Чуть позже был внедрен и рейтинг АТР для теннисистов по несколько иной методике, также решивший аналогичные проблемы.

Данные аналогии подтверждают, что составить достаточно объективный рейтинг, годный для практических задач, вполне возможно. И связан он будет, скорей всего, с характеристиками статистического распределения всей совокупности участников рейтинга.

Рейтинг или сеанс магии с последующим разоблачением

Если шахматисты соревнуются в количестве набранных очков, а в командных видах спортсмены сражаются за гол+пас или подборы, броски и т.д., то за что конкурируют разработчики?

Как бы не было это пошло и очевидно, за объем полученных с выполненных работ денег. А уж этот показатель интегрирует и подразумевает в себе все остальное. Т.е. достаточно ли профессионален разработчик, каковы его личные качества и прочая, прочая. Казалось бы, «покажи мне свои деньги» — и дело в шляпе, рейтинг готов.

Однако поставим себя на место заказчика, подыскивающего для своего, к примеру, веб-проекта исполнителя хорошего среднего уровня. Разве ему нужно знать, сколько заработал исполнитель, ведь ему требуется «лишь» выбрать на фоне остальных? Скажет ли ему что-то сумма в качестве рейтинга? Вряд ли, так как ему придется изучить списки тех, кто заработал больше и меньше. Скажет ли ему что-либо указание " 101 место из 1000«? Также вряд ли, так как возможно, что 900 вообще выполняли ранее эпизодические, копеечные заказы.

Просматривается та же логика и в случае, если сам разработчик захочет понять — насколько высок его рейтинг.

Для попытки решения можно было бы выводить долю суммы заказов разработчика в общем объеме, но при большом числе участников не слишком то удобно иметь рейтинг типа 0,00001%. Как вариант, ввести масштабирование от порядка числа участников рейтинга, т.е. если тысячи, то умножать процент доли на тысячу, если сотни — на сотню. Но это все равно не решает задачи соотнесения значения рейтинга участника с остальными без изучения всего списка рейтинга.

Здесь в качестве простейшего решения логично указывать процентиль от всего распределения сумм заказов исполнителей, в который попадает сумма, полученная разработчиком за выбранный период. А чтоб никто не догадался, процентиль умножаем на 100. На пример, рейтинг со значением в 7610 означал бы, что разработчик выполнил заказов больше, чем 76% остальных участников.

При выполнении проекта в большинстве случаев разработчику (как и заказчику проекта — от разработчика) требуется несколько технических навыков. К примеру, PHP, MySQL, jQuery, HTML, CSS. Как определить вес каждого навыка? Для этого есть эмпирические правила Парето, его производной ABC, гугловского правила топ-5 и т.д.

Наиболее простым методом приближения будет назначение навыкам весов в порядке, обратном порядку указания. Т.е. в приведенном примере PHP получит 5 баллов, CSS — 1 балл и, соответственно, при расчете рейтинга навык PHP «получает из бюджета» 33,3% (5 из 15), а jQuery — 20%. Таким образом можно получить рейтинг и по навыкам.

Для учета динамики изменений рейтинга достаточно применить метод двойного скользящего среднего за требуемое число периодов.

Можно заметить, что такая система учета вполне применима внутри отдельной компании.

Далее приведено описание конкретной реализации такого рейтинга в применении к украинским фрилансерам на oDesk и Elance.

7 дней и 4 доллара на прототип для стартапа

При обработке данных фрилансеров получилось столько интересного, по моему мнению, побочного материала, что, перефразируя «Трех мушкетеров», для Атоса (т.е. данной статьи) его слишком много, а для графа де ля Фэр (т.е. отдельного ресурса) — слишком мало.

По счастью, меня интересовала проверка годичного бесплатного эккаунта на AWS, а также твиттеровский 12-колоночный bootstrap и возможности средств визуализации от Google. Пригодились и сервис Loginza и фейсбучное API для комментариев (предпочтительный вариант с совмещением комментариев Facebook, Google, ВКонтакте в едином блоке отвергнут по временным соображениям). С учетом требований минимализма, высокой гибкости, скромных ресурсов хостинга и скорости разработки был использован примитивный php-шаблонизатор и база sqlite, т.е. любая CMS не подходила изначально.

В итоге за 7 дней (если быть точным, то и части ночей) и 4 доллара (потраченных на домен, который можно было попробовать получить и бесплатно в зоне org.ua) вышло «сыроватое», но неплохое, на мой вкус, интерактивное приложение к статье. Которое также может послужить и тестом для определения «мощности» триал-хостинга на базе AWS (предварительные тесты вселяют надежду, что несколько десятков одновременных запросов не создадут серьезных проблем, не смотря на довольно слабые, как для VPS, характеристики).

Стоит добавить, что у такого решения есть существенный резерв оптимизации в виде использования амазоновского CDN для статики и nginx`а перед апачем (по собственному опыту это если и не серебряная пуля, то как минимум бронзовая в виде фронта довольно нагруженных веб-проектов).

Вот лишь малая часть материалов (естественно, подготовленных в другие сроки) из этого «интерактивного» приложения к статье:

Уже конец

Каждому разработчику, наверное, знакома ситуация, когда успешно и без проблем завершенный проект не приносит никаких особых положительных эмоций. В то же время завершение проблемного, изобиловавшего переделками и внеплановыми сложностями , проекта иногда доставляет особое удовлетворение.

Что-то подобное испытал и я после почти двухлетней эпопеи (ставшей чем-то вроде хобби) в поисках наилучшего (с точек зрения объективности, минимума затрат и максимума скорости ) метода определения уровня разработчика. Очевидно, что предлагаемый метод не является абсолютным идеалом, однако:

  • при внимательном взгляде очевидно, что пользующиеся заслуженной популярностью зарплатные опросы на ДОУ являются частным, упрощенным случаем метода (с меньшей частотой выборки, меньшим числом параметров и уровнем достоверности). И это не реверанс, а вывод post factum. ДОУ идет верной дорогой и выигрывает 5:0 у любой другой методики определения рыночных зарплат;
  • данный метод может быть применен в любой компании для составления динамического внутреннего рейтинга разработчиков;
  • его полезная практичность доказана, по мнению автора, составлением рейтинга фрилансеров;
  • может быть полезным и пример очень быстрой и малозатратной разработки альфа-прототипа стартапа с перечнем использованных инструментов;
  • дополнительная аналитика (побочный продукт) по структуре украинского фриланса также, по моему, интересна. Причем впервые, насколько мне известно, анализируются интегрированные данные по oDesk и Elance.

Таким образом, на мой взгляд, опровергнуты упреки отдельных критиков цикла на академичность и практическую бесполезность темы. Присоединяюсь к словам известного кота о своей корове и количестве ее молока.

И, как водится при завершении такой длительной эпопеи, слова благодарности:

  • сообществу ДОУ и, особенно, всем, высказавшим конструктивные критические замечания и поддержавшим своим интересом к теме;
  • ДОУ, предоставившему без всякого диктата возможность и поддержку публикации цикла, а также персонально Максу Ищенко, как автору первоначальной постановки вопроса и как основателю ресурса, и Андрею Дегелеру, как внимательному, лояльному к авторам и позитивно настроенному главному редактору.

P.S. Еще не конец

Тема применения методики (назову ее для краткости topsdev) в отдельной компании осталась нераскрытой. В то же время лично мне очевидно, что она может дать пользу при низких затратах даже в компаниях с 1-2 десятками сотрудников. К примеру, при составлении рейтинга руководство может использовать реальные суммы, полученные за проекты (то, на чем сторговались).

При разнесении этих сумм по конкретным участникам проектных команд, конечно, доли каждого будут вычисляться по соотношению ставок и премиальных (за отвагу на пожаре, за пятилетку в три дня и т.д.) и по задействованным на проекте навыкам.
Как расти на следующие ступеньки в таких условиях? Практически автоматически. Быстрее сдал свою часть по проекту, можешь получить следующий или даже параллельно. Освоил новые скиллы — опять же это увеличивает шансы получить больше рейтинга. Заметьте, без всяких полугодовых-годовых аттестаций и достаточно объективно. Больше рейтинга — выше ставки. QA, PM, админы и т.д. абсолютно аналогично получают рейтинг.

Что это дает собственнику? Совершенно прозрачную систему, по которой он четко видит, кто делает больше вклада в результат компании и по каким навыкам. Т.е. делает его компанию «багаче и красивше».

При сравнении по отрасли это вообще принципиально решает проблему в корне (если примерно знать соотношение общих объемов компаний), в отличие от нынешних сравнений зарплат миддлов и сеньоров, когда HR должны гадать на кофейной гуще — сравнивают ли они сравнимое или несравнимое.

Конечно, это лишь общие принципы, практические внедрения не так просты. Однако, на мой взгляд, методика topsdev — это очень живая, объективная, малозатратная и достаточно простая система по сравнению с аттестациями и застывшими системами грейдов, применение которой пошло бы на пользу всем сторонам.

LinkedIn

73 комментария

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Самое грустное, что даже абсолютно случайный генератор даст высокую мотивацию, выше средней. А привязанный вечным стремлением к недостижимому — гарантированный демотиватор. Притом эффективность падает в разы.

Я только одному удивляюсь — зачем снова изобретается велосипед? Почему у японцев это получилось, притом больше чем полвека назад — а у нас через «универсальный интерфейс».

Единственный реальный фактор, который влияет на рейты — рынок. Если давать меньше — люди уйдут. Если больше — жаба задавит. Всё остальное — просто мифы!

«- Кто такой этот Рынок? Это ваш родственник Рынок? Папа ваш Рынок?» (почти по Золотому теленку). Некоторые так уверенно произносят слово «рынок», будто обладают 100% информацией. Да уверен, что и по своему городу у Вас информация не на 100% ясная. Вот уж точно миф — рынок.

Да, рынок тоже миф. Есть обычная вера, что вот это стоит вот столько-то денег. И сами деньги фактически часть рынка — есть вера что на них можно будет купить столько-то завтра.

Но именно этот миф и является прородителем мифов о справледливых рейтах. И о научном подходе вообще. «Серебрянная пуля» настолько же невозможна, как невозможно заставить экономистов писать прогнозы, которые сбываются.

Кстати, на любую 100%-ную информацию всегда найдётся дятел который докинет 101-й%. И чем скорее их докидывают, тем сильнее «устаревает» предыдущая информация. И не физически устаревает, а просто выходит из моды.

И именно рыночные мифы будут ставить точки над i в рейтах. И каждая организация в границах своей власти может у себя устанавливать свои мифы. Например вот эта секретарка с большими сиськами стоит дорого, а вот эти 10 000 работников уволить чтобы сходились цифры.

Для обычных людей, не желающих разбираться в экономике и десятки раз в день (именно так!) доказывать свою стоимость и были придуманы более простые мифы. Но это не значит что они будут работать. Или что их не прогнут под конкретный случай. Ключевая ценность таких понятий — простота.

И любое усложнение системы рейтингования ведёт неизменно в бюрократию. Потому что цели сделать «близко к рынку» не ставится, а значит не достигается ни простота, ни целесообразность. Промах по цели + усложнение = бюрократия. Уж лучше по принципу «я так сказал» — здесь простота предельна.

Лучшие системы рейтингования либо у линейных производителей быдлоработы (легко считать), либо у продавцов (близко к рынку). И те и другие лучше всего мотивированы. А вот для сложной + стабильной работы рыночные механизмы власть сильно теряют: они для купли-продажи вообще-то, то есть для постоянного движения, а стабильность обесценивает рыночную стоимость! Вот почему в мотиваторах так часто используются социальные ценности. А принципы оплаты,будем откровенны, оторваны от жизни.

Миру придстоит ещё многое постигнуть в экономической науке. Не стоит спешить давать «истину всех времён», лучше дать то что хорошо работает сейчас, и менять под дань моде. Чем утвердить истину последней инстанции и утопить мотивацию в дерьме бюрократии.

Не стоит спешить давать «истину всех времён», лучше дать то что хорошо работает сейчас

Вот поэтому и предлагается поставить во главу все то, что может дать «рынок» — деньги, выполненные проекты, часы. А все остальное — от мифического Рынка Адама Смита. Невидимая, хм, рука — это ж надо было такой развод придумать 300 лет тому назад...

Только вот незадача: комания внутри должна быть лучше чем мир снаружи. Иначе ей не выжить. А значит и мифы должны быть иными. Но сочетаться с теми мифами, котрыми «дышит» окружающий мир. И либо иметь над ними преимущетсво на их же поле, либо явно их отрицать и противопоставлять своё видение.

Мало того, есть только один путь — компания внутри должна быть лучше объединена. Мифы разъединяющие людей, говорящие «каждый сам за себя» — вот ахиллесова пята любой компании, притом от самого момента зарождения. А в нашей стране тем более: идеология «каждый сам за себя» в полном расцвете.

И если уж назвать своими именами, в компании должны быть не мифы, а модели. Разница очевидна — цель модели не охватить всё, а как раз в упрощении. И как только меняется потребность, либо доступны новые знания, либо есть другая цель — модель меняется.

Но цель объединения — не уйдёт никогда. И каждого начальника, устанавливающего принципы «каждый сам за себя» под любой этикеткой — следует больно бить ногами. Вместе бить. За исключением разве только собственника — именно он пострадает больше всех оставшись сам с собой (и подлизами). А начальник, даже самый глупый, почуяв неладное — будет делать вид «всё хорошо», а после уйдёт оставив сосбтвенника с разбитым корытом.

Вторая принципиальная цель — отсев тех, кто не подходит. Кто не сможет по любым причинам стать частью целого, иметь свою роль. Такой человек — рак компании. Если его не удалить, он поначалу будет бесполезен, а затем медленно и болезненно станет разрушать. И плодить себе подобных — своим примером, своим руководством.

Других целей просто нет. Каждый из нас умеет объединяться. Имеет и знания и опыт распределения ролей. И как ни странно, каждый способен работать с короткими причинно-следственными связями на три порядка лучше любой сложной модели. Потому что перемены — наше всё.

И система никогда, ни при каких обстоятельствах не научится извлекать главное на текущий момент. Даже люди, её строящие, по привычке дадут 100 показателям примерно равный вклад, и попробуют сложить. А нужно умножить! Притом некоторые показатели умножить несколько раз, то есть возвести в степень. К примеру дисциплина. Если дисциплина 50%, то вероятность успеха не может быть 99%. И даже не 50%. Возведите её в степень = количества итераций требующих дисциплины, и получите 0.00...%

Сама цель не может и не должна быть частью системы. Иначе система будет ставить себе «удобные» цели, а следом — оставлять «удобных» людей. Сложные грейды — один из примеров удобных целей. Потому да, я считаю сложные линейные — дерьмом. На которое идут люди, откровенно боящиеся ответственности за риск. Полезные грейды имеют под собой понятие риска.

Именно риск-менеджмент + управление качеством дадут качественную модель. Нельзя (опасно, безрассудно) тщательно моделировать полезность одного человека, не имея модели качества общих, фундаментальных процессов. А они разные! Похожи принципами, но по сути очень разные — от компании к компании, от проекта к проекту.

// Так что не стоит пинать на Смита. Он построил качественную модель. Того времени. И дал фундамент новым. В вопросах внутренней мотивации тоже есть свои «Смиты». С некоторыми довелось и лично пообщаться. Но всё это пусть останется моими секретами. Скажу лишь что велосипед уже изобретён, и создавая новый стоит как минимум знать о существующих :)

// И кстати, нормальное распределение — хорошее допущение. Для спорта. Но нужны иные законы распределения, которые для IT подходят больше. И опять же, они больше на историческую перспективу (оценка проекта), либо для оценки инвестиций на будущее. поскольку математика не учитывает положительной и отрицательной обратной связи. И на динамике будет настолько сложно, что снова понадобится модель. И это таки модель качества + модель рискменеджмента.

Многое из того, что Вы пишете — интересно. Но ... что касаемо самого рейтинга — простая аналогия: контроллер управления автомобильным двигателем с инжекторами. Не секрет, что карбюраторные были на пару тысяч у.е. дешевле и гораздо ремонтопригоднее, да и чистоту выхлопа, как оказалось, можно довести до уровня инжектора, как и расход. Не секрет, что если бы разработчикам САУ в свое время хватило мозгов, а компании думали бы об интересах клиентов, а не о «срубить больше бабла» — вполне можно было сделать «косвенное» управление — т.е. не вешать кучу датчиков кислорода и т.п. и т.д., делающих прямые измерения, а обойтись косвенным контролем детонации и искры. И добиться тех же результатов при себестоимости на порядок ниже. Вот и идея рейтинга о том же — обойтись без дорогостоящих тестов, сертификации и т.п. при выборе сотрудников и оценке их результатов.

P.S. Кстати, очевидно для помнящих мифического человеко-месяца Брукса, что термин «серебряная пуля» — ироничный. Видимо, классика основательно позабыта в потоке изучений говнофреймворков :(.

А теперь представим на минутку что какой-то говнофреймворк потерял ценность. Скажем, до нуля. А имел очень высокую. Наберётся ли смелости хоть один из сотрудников компании уничтожить ценность, или даже внести предложение по этому поводу. Или проще не гнать волну, и достаточно добавлять новые и повышать критерии?

А теперь вопрос на пять: новый кандидат какие шансы имеет пройти такой грейд? И будут бедненькие кричать о дифиците кадров. Ню-ню.

Цитата из статьи:

Для учета динамики изменений рейтинга достаточно применить метод двойного скользящего среднего за требуемое число периодов.

И кстати, нормальное распределение — хорошее допущение. Для спорта. Но нужны иные законы распределения, которые для IT подходят больше.

И кстати, по имевшимся данным фриланса (возможно, неполным) распределение больше напоминает пуассоновское. Если учесть, что оно применялось (сейчас не знаю — еще применяется ли) для моделирования нагрузки на коммутаторы АТС, то аналогия фрилансер-АТС «доставляет»:) и кажется глубокой.

Тогда может ну его в сад вообще? Падение будерброда подченяется тому же распределению. Берём десяток бутербродов, заставляем сотрудника их ронять. А лучше классический опыт: с красными и белыми бусинами.

Ведь зачем нужны все эти расчёты:
1) Показать клиенту или оценивающей организации как всё хорошо. И здесь конечно же нужно врать как перед выборами.
2) Показать «нужных людей» ценными внутри организации. И здесь конечно же будут строить грейд под нужный образец.
3) Показать внутри компании как всё улучшается. И здесь с завидной регулярностью будут менять («улучшать») способ подсчёта показателей, дабы постоянный рост был (на бумаге).

0) Расчёт уровня оплаты труда с целью эффективной мотивации.

И если цели 1, 2, 3 ещё как-то можно увязать, то цель № 0 сама по себе. И любая попытка сделать систему единой — приведёт к выполнению целей 1-2-3 в ущерб мотивации.

В такой ситуации даже система «потому что я так сказал» работает эффективнее, и даёт меньшую текучку чем сложные расчёты. Потому что цели 1,2,3 — генерировать ЛОЖЬ, ПРОТИВОДЕЙСТВОВАТЬ задачам бизнеса. А цель № 0 — создавать ценность, сохранять ценность, снижать себестоимость. Именно поэтому бюрократия самый коварный враг — нельзя одновременно давить газ и торомоз.

По распределению и «ну его»: скажем так, в методе не используется привязка к какому либо виду распределения выборки. Все считается от исходных данных, а не подгоняется под формулу (тут один товарищ попрекал и утверждал, что все можно уложить в краткую формулу — нет, похоже, что «не можна»)

По пользе: к примеру, по фрилансу это вполне может дать пользу заказчикам при выборе исполнителя. Не самопальные или выпрошенные у клиента отзывы, не мифическое портфолио и непонятно как считаемый рейтинг что на одеске, что на елансе (так как, похоже, учитываются там такие вещи, как доступность, количество положительных фидбеков, трюки с завышением отработанных часов и т.д. — зачем эта чепуха? Уплаченные заказчиком деньги по нужным скиллам-проектам- вот главный рейтинг и повод для выбора следующим заказчиком, а там уже следующий заказчик и фидбеки почитает).

По пользе для компании по своим сотрудникам — в общем-то принципиально отличий не вижу, только заказчик и оценщик один (сама компания)

как понять Вашу фразу про стопроцентную информацию? Вы можете предложить более эффективным метод мотивации чем «кнут — пряник»?

При разнесении этих сумм по конкретным участникам проектных команд, конечно, доли каждого будут вычисляться по соотношению ставок и премиальных (за отвагу на пожаре, за пятилетку в три дня и т.д.) и по задействованным на проекте навыкам.

Кто и как это будет решать? Начальник, заказчик, голосованием команды? Это ведь и есть самая сложная задача — объективно оценить успехи сотрудника.

Быстрее сдал свою часть по проекту, можешь получить следующий или даже параллельно.

Опять же — кто устанавливает «нормы»? А то ведь можно специально делать задачи попроще или эстимейты раздувать что бы быстрее «успевать». И что значит «сдал»? Проект-то общий. Кто-то «сдал» и пошел делать следующий а другой «не сдал» — и что?

Освоил новые скиллы — опять же это увеличивает шансы получить больше рейтинга.

А кто проверил эти скилы? Кто начислил рейтинг? И за какие заслуги, если новые технологии выучил , но на текущем проекте они не нужны?

Заметьте, без всяких полугодовых-годовых аттестаций и достаточно объективно. Больше рейтинга — выше ставки. QA, PM, админы и т.д. абсолютно аналогично получают рейтинг.

Опять выходит «от противного». Сначала кто-то, как-то, без всяких аттестаций и объективно присвоит сотруднику «рейтинг». А потом уже автоматически ему увеличат зарплату и предложенная система оценки посчитает что он «вырос».

Что это дает и сосбтвеннику? Совершенно прозрачную систему, по которой он четко видит, кто делает больше вклада в результат компании и по каким навыкам. Т.е. делает его компанию «багаче и красивше».

Давайте рассмотрим практический пример. Пусть у меня есть 10 девелоперов. Я плачу им фиксированную зарплату в 1000 каждому. Продаю их клиенту за фиксированный рейт 2000 в месяц. Пусть есть бюджет в 1000 баксов на повышение зарплат. Как мне оценить кому на сколько повышать?

Считаться такой рейтинг должен в рамках, минимум, всей компании. Это не инструмент управления по данным конкретного проекта.

Давайте рассмотрим практический пример.

Для такого простого примера и если все одинаковые — нет смысла ни в грейдах, ни в рейтингах. Все средне. Но так редко бывает в жизни?(или кому-то очень везет — 1000 заплатил, 2000 — получил за каждого, «на эти три прОцента и живу»). Как меняется рейтинг в реальности: грубый пример — допустим, что у Вас на 10 девелоперов появляется еще проект за фикс. плату (ну допустим, тот же корпортал), стоит выбор — нанимать целиком команду дополнительно или же часть можно и из существующих, кто-то возьмется (сверхурочно и т.д.) — тем самым он не только что-то получит доп-но, но и увеличит на какой-то период свой рейтинг. Если ему удастся поддерживать такой рейтинг (больше работая или выполняя более сложные (и, соответственно, более оплачиваемые) задания или закрывая заказанные часы и т.д.) — это будет основанием для вас повысить ему ступеньку.

Предлагаемый рейтинг работает на статистике, т.е. от какого-то количества проектов. Для расчета премиальных по какому-то конкретному проекту это не тот инструмент.

Как присваиваются начальные рейтинги? Допустим, пришел человек на должность миддла (без рейтинга, со стороны) — ему дают стартовый рейтинг, примерно соответствующий уже работающим, а затем уже рейтинг меняется по результатам.

Так же это работает и в соревнованиях, рейтинг служит для пропуска на более престижные турниры.

Для начала давайте определимся с системой оплаты. Зарплата фиксированная или зависит от выполняемых задач (сдельная)?
Потому что все рейтинги и системы оценки нужны именно для расчета зарплаты. Если она уже сдельная — значит и система ее расчета есть. Если она фиксированная — то от сложности решаемых задач напрямую не зависит. И нужна система грейдов и рейтинга для расчета.

кто-то возьмется (сверхурочно и т.д.) — тем самым он не только что-то получит доп-но, но и увеличит на какой-то период свой рейтинг. Если ему удастся поддерживать такой рейтинг (больше работая или выполняя более сложные (и, соответственно, более оплачиваемые) задания или закрывая заказанные часы и т.д.) — это будет основанием для вас повысить ему ступеньку.
Т.е. что бы повысить себе рейтинг надо овертаймить? Кто работает больше — тот и лучший сотрудник. Сомнительный критерий — ну да ладно.
Зайду с другой стороны — а как же рейтинг понижается? Вот работает 10 девелоперов и у всех средний рейтинг. Но одному надоело и он начал забивать, халтурить, косячить. Зарплата у всех одинаковая. Работает он по-времени столько-же. И клиент за него платит столько-же. Кто и как понизит ему рейтинг?
Предлагаемый рейтинг работает на статистике, т.е. от какого-то количества проектов. Для расчета премиальных по какому-то конкретному проекту это не тот инструмент.
Тогда это как система оценки персонала в аутсорс компании не годится. В серьезных компаниях сотрудники не делают по нескольку проектов в год. Чаще всего они работают на одном проекте не меньше года (а есть проекты и по 10 лет). Поэтому статистика будет полезной только для сотрудников, проработавших не менее 5 лет. А пересматривать зарплаты надо хотя бы 2 раза в год.

Т.е. что бы повысить себе рейтинг надо овертаймить? Кто работает больше — тот и лучший сотрудник.

Это единственный путь лишь в случае, когда оклады и премиальные одинаковы всегда, но так ведь не бывает долго? Как вариант, в таком случае «застоя» овертаймить

Зайду с другой стороны — а как же рейтинг понижается?

Рейтинг — понятие относительное и если у кого-то он повышается, то автоматически и снижается у кого-то

Чаще всего они работают на одном проекте не меньше года (а есть проекты и по 10 лет)

Для таких проектов есть достаточно длительные этапы, которые, по сути, аналогичны. В принципе, для практически любого сотрудника рейтинг может считаться 1 раз в месяц.

А вообще, конечно, это уже пошли нюансы почти практического внедрения

Добавлена раскладка по городам — по 20 лучших фрилансеров с навыками. Любопытно распределение навыков лучших от города к городу

UPDATE2: — если кому интересно, то добавлен рейтинг лучших фриланс -разработчиков по 15 скиллам-лидерам:
php
java
c#
javascript
c++
html
ruby-on-rails
python
ajax
.net
asp.net
apache-struts
j2ee
mysql

iphone-development

update: — в рейтинг вошли все «длинные» и неоконченные работы, рейтинг пересчитан за весь период данных, в итоге существенные изменения в расстановке topsdev.org.ua/5.html

— подправлена и более строго и четко изложена методика topsdev.org.ua/method.html

Что то мне кажется, что такой рейтинг разработчиков, основаный на уровне доходов от выполненых работ, заинтересует в первую очередь родную налоговую.

— А вот почему у Васи П. (официально получающего з/п в 1500 гр) рейтинг доходов 9500, а у Пети В. (с зарегестрироваными доходами в 15000) рейтинг 9100.

Не думаю, их такие сложности пока не интересуют (какие-то центили-процентили, скиллы и т.д.), суммы также невелики, кроме того, можно сделать рейтинг в виде закрытого клуба

Все логично — не придерешься. Чем лучше фрилансер работает — тем больше зарабатывает. Чем больше проектов сделал — тем больше опыт. За сложные проекты платят больше и т.д.
Для фрилансеров все сходится. С таким же успехом можно посчитать «крутость» игрока в онлайн-играх. Чем больше монстров убил, квестов выполнил, денег зашиб — тем круче.

Но это похоже на решение задачи «от обратного». Хочешь узнать насколько ты крут — иди во фриланс и покажи себя. Но фрилансерам-то как раз эти «грейды» нафиг не нужны. Фриланс сайты предоставляют всю нужную статистику заказчику, есть репутация, «портфолио» и т.д.

данный метод может быть применен в любой компании для составления динамического внутреннего рейтинга разработчиков;

Грейды нужны крупным аутсорс-компаниям. Для чего? Что бы, во-первых, «с порога» определить сколько давать новичку, а во-вторых, определить кто более полезный что бы повышать ему зарплату. И как же здесь работает предложенная система, если в компаниях у девелоперов фиксированные проекты и ставка?
Что считать-то? Сколько клиент заплатил за эту «голову»? Сколько на руки девелоперу дали? Сколько проектов сделал (а если на одном 10 лет сидел)? Устраивать «поединки» «один-на-один» кто лучше заимплементит тот же фичер? Или всех принудительно во фриланс сажать «для проверки»?

Более того: как быть с QA? ПМами? Архитектами? Они-то код не пишут — вроде как и не работают, выходит. А с саморазвитием как? Один сидит на старом проекте годами, а другой в это время дома новые технологии учит — но ведь не использует-же. Выходит по системе полезности — ноль.

при внимательном взгляде очевидно, что пользующиеся заслуженной популярностью зарплатные опросы на ДОУ являются частным, упрощенным случаем метода (с меньшей частотой выборки, меньшим числом параметров и уровнем достоверности). И это не реверанс, а вывод post factum. ДОУ идет верной дорогой и выигрывает 5:0 у любой другой методики определения рыночных зарплат

Вот это и есть итог этой системы: смотрим среднее на ДОУ и просим себе зарплату выше. Только никакой привязки к реальным достижениям ДОУ не дает. А разделение по «званиям» полностью условное и зависит от конторы («кому и кобыла — синьор»).

Давайте пойдем не от обратного, а от целевой аудитории ДОУ. Здесь большая часть тех, кто или зарабатывает путем разработки, поддержки, тестирования, управления этим делом и тех, кто ищет сотрудников для компаний, которые зарабатывают на том же. Ведь так?
Если так, то очевидно, что всякие тесты, сертификаты, портфолио, опыт в годах и т.д. и т.п. являются вторичным, а первично — количество денег, которые заработал Некто на этом деле, за какой период и с какими скиллами. Так как это — наилучшая база для прогноза, сколько он (и на нем) может заработать. Правда?
Если да, то это наиболее объективный источник. Взять данные можно по статистике фриланса и путем сбора, когда Некто может вводить регулярно суммы по проектам и указывать скиллы.
Подтверждать это можно путем плюслв и минусов других участников рейтинга (чтоб не было завирательства) — но это отдельная тема.
Такой механизм будет гораздо точнее полугодовых опросов, потому что частота выше и детализация (скиллы, проекты) суживает возможности «а я получил миллион за месяц». В любом случае — это шаг вперед. Ведь да?

Что делать с ПМ QA...ставками? Во-первых, есть и бонусы, во-вторых — ничего страшного, можно указывать месячные ставки и перечислять скиллы, наиболее востребованные в конкретном месяце. Богатую картину для сравнений в рейтинге это даст, в том числе самому указывающему.

Что касается фрилансеров и рейтингов на биржах. Посмотрите методы рейтинга российских систем — дают баллы за отзывы, за число заходов и т.д. — субъективизм и чепуха полные. Рейтинги oDesk также нельзя назвать идеалом, хотя порядка побольше. И опять же это рейтинг каждой отлельной биржи, а здесь можно создать полный.

Я не говорю, что мое предложение идеально, здесь еще «конь не валялся», а глядя на выбросы и тяжелые хвосты распределений данных хочется «обнять и плакать», но считаю его внедрение, если оно будет широким, заметным шагом вперед.

первично — количество денег, которые заработал Некто на этом деле, за какой период и с какими скиллами. Так как это — наилучшая база для прогноза, сколько он (и на нем) может заработать.
Какая-то рекурсия получается. Что бы посчитать рейтинг вводим на ДОУ свою текущую зарплату. Потом система считает распределение и получается, например, что зарплата ниже средней для категории «мидл». Т.е. человек работает хуже среднего мидла. Вывод HR: человеку переплачивают. На следующий год этому человеку не добавили зарплаты, а средняя ушла вперед. Значит он еще потерял в рейтинге и стал «джуном»?
Выходит что бы вырасти в рейтинге надо что бы повысили зарплату. А что бы повысили зарплату, надо сначала вырасти в рейтинге.
А если считать не зарплату — тогда что? Ведь в аутсорс-конторе человек не сам больше или меньше зарабатывает — ему компания платит фиксированную ставку.

Рекурсия вообще характерна для мира товарно-денежных отношений. Формула товар-деньги-товар...

А что бы повысили зарплату, надо сначала вырасти в рейтинге.

Рейтинг информирует человека (если снижается), что что-то в этой жизни он упускает по сравнению с другими. А зарплату не за рейтинг повышают :)

Я ответил в P.S. статьи на

что бы вырасти в рейтинге надо что бы

и

И как же здесь работает предложенная система, если в компаниях у девелоперов фиксированные проекты и ставка?

норм, чо.
ждем статью с описанием полученных данных и закономерностей (я понимаю что автору хотелось описать как он страдал и мучился, но все же )
из того, что хотелось бы по сайту :
— возможность получить свой\чужой рейтинг простым вводом неких данных, ну пусть дохода за полгода плюс области (и даже пополнить базу), оно было бы популярно как пипискомерка
— насколько я понял из комментов, «длинные» работы — начатые в 2011 и все еще идущие всеравно попадают в 2011 год ?
— секурность общая, я понимаю что далеко не все попали в базу , но не хотелось бы что бы распечатка попала на стол азарову\тигипке или другим покращунам ... может хотя бы писать по английски ? глупо, но хоть так
— секурность частная, ничего плохого если мои данные обсчитают без имени, но с именем, я бы не хотел

— обсчитать весь одеск , что бы можно было сравнивать страны и т.д.

— возможность получить свой\чужой рейтинг простым вводом неких данных, ну пусть дохода за полгода плюс области (и даже пополнить базу), оно было бы популярно как пипискомерка

уже пару дней в работе

— насколько я понял из комментов, «длинные» работы — начатые в 2011 и все еще идущие всеравно попадают в 2011 год ?

пока да, будет решено путем вычисления среднемесячного дохода по таким длинным работам и месяца, попадающие в обсчитываемый период, войдут

— секурность частная, ничего плохого если мои данные обсчитают без имени, но с именем, я бы не хотел

учтено уже здесь, все имена обрезаны, можно будет перейти на хэш:), если будет желание связать свой эккаунт на сайте с эккаунтом на одеске

— обсчитать весь одеск , что бы можно было сравнивать страны и т.д.

довести Украину до ума и можно дальше двигаться

да. давайте хешировать имена, так догадаются только те, кому надо :)

Очень интересное исследование. Спасибо большое. Ресурс еще буду изучать.

А на детей внимание не обращайте :)

Спасибо, ресурс еще местами хромает по данным. Но корреляцию между рейтингом и уровнем общения уже показывает — 9458 ;)

Увы и ах, проверить триальный AWS не получится. 1500 хитов это, конечно, смешно, при том, что материал за 2 дня самый посещаемый, доу-эффект отсутствует в природе:(, пляжный волейбол-футбол и миша собин рулят

Мне показалось или Вы намекаете, что фрилансеры идуть работать в аутсорс?.. Если да, то Вы просто не знаете о чес говорите. В аутсорсе нету таких рейтов как в фрилансе (банально не выгодно)! Скорей всего опытные фрилансеры просто идут на постоянную удаленную работу. А количество работников аутсорса растет за счет студентов, которых сразу после (а то и вовремя) университета, четез всякие там скороучащие университеты разбирают...

Ну почему только в аутсорс. И кроме того, Вы сами совершенно верно подметили — "

на постоянную удаленную работу

«, ключевое слово «постоянная»

Насправді достатньо грунтовний аналіз статистичних даних, було цікаво переглянути результати. Спасибі автору за старання.

Я так и не понял как в данном рейтинге участвуют те, кто работает на почасовой оплате через Odesk.

На oDesk есть информация — сколько часов отработано по заданию и за какую сумму.

По неоконченным — есть данные, сколько уже отработано

тогда мне снова не понятно по какому принципу составлен рейтинг. Например у меня есть профиль с 2000+ отработанными часами через одеск. В топ он не попал, вопрос — как мне понять почему?

Возможно, ваш профиль закрыт к общему доступу или работа стартовала до сентября 2011. Буду благодарен, если бросите урл профайла в личку (так что-то не могу найти). В любом случае спасибо — подкорректирую по работам, стартовавшим ранее начала периода выборки для рейтинга (возможно, стоит по таким делить пропорционально по месяцам от старта работы по настоящее время и брать в зачет входящие в период выборки)

я может закрыл там, не помню уже.

профиль с 2008 года — ссылку отправил в личку.

Да, Jul 2011 — Present. Это не вошло с сентября 2011. Подправим, спасибо за ценное замечение.

P.S. Кстати, в поиске даже oDesk-юзерам Вы также недоступны

Не совсем понял о чем вы. Последний контракт — ACTIVE since 07/04/2011

А перед ним — ENDED — 12/22/2010 — 02/07/2012

Первый расчет рейтинга проводился за период 09.11-08.12. Т.е. работы со стартом до 09.11 и без окончания (или с окончанием до 09.11) не попали — как написал, поправим. Но если в поиске oDesk Вас не будет, все равно не поможет :)

Я тоже не попал в топы :) Я в принципе odesk аккаунт сейчас использую чтоб овертаймы логировать, но пробежался по топ списку, даже овертаймов должно хватить

Проверю, прошу не обижаться на недостатки рейтинга, в любом случае, это альфа-версия (о чем многократно предупреждается на сайте) — в следующей рейтинг отладим, в том числе благодаря вашим неравнодушным замечаниям.

Работа вроде в 2012 началась, но контракт все еще действует.

P.S. никаких обид, просто интересно было сколько люди заработали чтоб в топ 50 (уже 100?) попасть, оказалось что намного меньше чем я думал :(

Да, я видел что солидная (т.е. должна была попасть в топ) работа стартовала в Jan 2012. Похоже, что ваш профиль ищется только внутри, не публичен? Искал и так и сяк, есть выдача только при персональной авторизации.

Я намеренно пока не усложнял задачу со старта — кто не хочет, чтоб его видели снаружи поисковики, о том информации нет

куча слов ни о чём — статью можно назвать «Моя фантазия на тему ни о чём в свободное время». Я не хочу обидеть просто хочу сказать что всю статью можно было бы сократить в 3-4 раза если не писать всю ту воду и так много буков.

....... может даже в раза 5-6 можно сократить

К примеру? Существует старая байка, когда консультант ответил на упреки (от предыдущих разработчиков, чье творение не работало как надо, но было меньше по числу строк) по поводу размера своей программы. Он сказал — если убрать требование работоспособности, то я могу написать программу в 1 байт

Я присоединяюсь к критике. От горы лирических отступлений не имеющих отношения к топику(рейтинги шахматистов и тенисистов и их история , особенности нищебротства при построении веб приложений) я еле долистал до собственно материала(а мог и не долистать), который тоже не отличается лаконичностью и понятливостью, и в итоге обломался вычитывать из полушуток кажущихся автору смешными крупицы логики рейтинга которые наверняка можно было бы уместить в одну формулу.

Давайте, уважаемый телекритик, вашу формулу в 1 байт. Я даже денег заплачу, если будет рабочая.

Добавлю про

особенности нищебротства при построении веб приложений

Ваши слова доказали нужность этой части материала. Как для сайта-приложения к статье — самое то, может кому и пригодится также, кто без статусных комплексов. И замечу, что по самым скромным расценкам такой сайтец с настройкой VPS (а с учетом слабосильности там не так все просто) обошелся бы заказчику от штучки (без учета сбора данных). Неплохая же цена за возможность для вас так смачно потоптаться?

Давайте, уважаемый телекритик, вашу формулу в 1 байт. Я даже денег заплачу, если будет рабочая.

А где я писал про байт?

И замечу, что по самым скромным расценкам такой сайтец с настройкой VPS (а с учетом слабосильности там не так все просто) обошелся бы заказчику от штучки (без учета сбора данных)

Сейчас есть куча ПааС с бесплатным tier на которых разворачивание такого сайта заняло бы пару кликов мышки. Но ты это вообще к чему?

Сейчас есть куча ПааС с бесплатным tier на которых разворачивание такого сайта заняло бы пару кликов мышки

Ты сам их пробовал, смотрел чего понаставлено там всякого? Сносить его и конфить для себя — та же работа и еще больше

Что именно сносить и настраивать?

Извини, я тебя также немножко не дочитал, ибо имел в виду настройку инстанса для максимального быстродействия

Ну да, основная идея ПааС это то что за тебя об этом заботятся другие люди.

Здесь ставилась цель — по максимуму использовать фри tier амазона, поэтому настройка инстанса была важна

Ну и не хочу никого обидеть, но судя по цене того, чем вы занимаетесь, там содержание в сотни раз превышает любой разумный смысл. К примеру, злосчастный Газонафт:) за 2 месяца до снятия прежнего рука проводил тендер на корпортал. Цены предложений были от 70 до 150 тыс. грн и полностью устроило предложение за 80, более того, были в восторге. Но потом смена власти, а там что наваришь с этих семечек. Вот сейчас читаю, что выбрали таки шарепойнт за 1,5 ляма — это да, это содержательно и наваристо (лям минимум), при полной убыточности компании

Я конечно понимаю что рассказывать толстому бородатому ПХП-Линуксоид-троллю о майкрософте — тупая трата времени и уверен на все 100 что вы не сможете обосновать почему майкрософ или шарик хуже других технологий но я попробую ради других читателей.
Во-первых, как говорится, «если ты такой умный — покажи мне свои деньги». Скажите какие большие коммерческие проекты написаны на ПХП? Почему оплата специалиста ПХП меньше специалиста .NET? Возможно вы считаете что все кругом тупые кроме вас? Возможно вы такой себе Дартаньян а все остальные ....?
Во-вторых. Какие главные цели и требования корпПортала были выставлены? Какие бизнес процессы нужно было реализовать? Сколько пользователей работает с порталом? А то вы как наш уважаемый народ — все знают что ситуация в стране плохая и власть ничего не делает, но сами тоже ничего сделать не могут, кроме как вилами махать.
Разные системы преследують разные цели. Ездить в магазин за хлебом за углом на БелАЗе можно, но не выгодно. Ездить в промышленный карьер на велосипеде экономно, но бессмысленно.
В третих — приведите пример систем документооборота и развитого BI на замену шарепойнту (говноТомКет уже не раз обсуждался).
В четвертых

Вот сейчас читаю, что выбрали таки шарепойнт за 1,5 ляма — это да, это содержательно и наваристо (лям минимум), при полной убыточности компании
как бестолковость власти относится к тому что вы пишите в 70% статьи ни о чём и к функциональности шарепойнта

Молодой человечище, спасибо тебе большое за науку. Как бы я жил без такого урока хамства — нагадить в комментах, да еще обозвать автора статьи троллем. Это уметь надо. В ответ порекомендую ознакомиться с Битрикс-корпорталом

Битрикс для малого и среднего бизнеса, Шарик для больших проектов — у каждого свои цели. Поддержать Битрикс в большой системе намного труднее чем шарепойнт.

А в чём собственно заключалось хамство и гадить в коментах кроме того что это ваша статья и под ней хочется видеть в отзывах только розовые слащавые потоки во славу автора?

Битрикс для малого и среднего бизнеса

Это ты так решил или какой-то вумный продавец MS подсказал? Небось, FB и в ВКонтакте у него также маленькие приложения.

А в чём собственно заключалось хамство и гадить в коментах

Хамство — это учить автора размеру статьи и во сколько раз ее сократить (ты ж не редактор, верно?). Не нравится размер — напиши сам. Кстати, покажи, что ты написал, если такой умный советчик

Это ты так решил или какой-то вумный продавец MS подсказал?

человек который с незнакомым переходит на ты рассказывает о хамстве — банально и не смешно даже. Ну вообще это мнение независимых аналитиков.

FB и в ВКонтакте у него также маленькие приложения.

А ну если FB и в ВКонтакте приложения со сложными промышленными процессами, документооборотом и ВІ — то мне добавить нечего.

Хамство — это учить автора размеру статьи и во сколько раз ее сократить (ты ж не редактор, верно?).

извините что не проливаю слащавых сиропов в адрес вашей статьи — видно высокого вы о себе мнения

Кстати, покажи, что ты написал, если такой умный советчик

мне не о чём писать, по этому я и не берусь.

Почему опять же на ты??? Мы с вами в один горшок не какали и с одной миски не ели.

Видимо, буков было все же мало

Во-первых, как говорится, «если ты такой умный — покажи мне свои деньги».

topsdev.org.ua/2.html вот тут же все показано, «очi треба мать»

рассказывать толстому бородатому ПХП-Линуксоид-троллю

на этом фоне «ты» это очень ласково и по дружески. Не переживай так и будь скромнее, с возрастом неадекватное ЧСВ пройдет.

Соглашусь с Тохой — Вы чересчур резко восприняли критику (критика размера статьи и понятности — тоже критика)... К тому же явно начали переходить на личности. Если пишите статью будьте готовы к подобной критике...

Конечно, эта ветка гроша ломаного не стоит, но уважаемый Тоха почему-то изменил свой титул с шарепойнт-девелопера и смысл этого высказывания затенился. А сказав А, надо уж и Б:
— я ни в коем случае не считаю шарепойнт плохим инструментом. Это не уникальный, но и не хуже многих других (я имел возможность очень близко наблюдать одно его внедрение)
— однако в Украине использование таких дорогих инструментов в гос. компаниях надо бы вообще запретить (миллионов пользователей кор.портала здесь нет) — это лазейка для откатов, тырение денег из наших карманов (через повышение тарифов или налоги) и что хуже всего — еще большее снижение конкурентноспособности развивающейся страны, не имеющей нефти, газа или алмазных россыпей
— т.е. многопорядковое превышение количества над смыслом, и смысл был показать Тохе, что чистить надо с себя, даже если ты просто разработчик на таком инструменте.
Сейчас мне очевидно, что это была слишком тонкая аллюзия и потому неудачная

Уважаемый, каждый раз вы бросаетесь в крайности.

Шарепойнт бывает и бесплатный — SharePoint Foundation (бесплатный — то есть без необходимости покупки лицензии). Разработка порталов которые мне приходилось делать не привысила 150к грн.

Показалось «профессора Зло»

Класс! Надо будет поискать фото американского профессора Эло, вдруг и в правду это он...

Спасибо. Что-то не похож ни на Доктора, ни на Прохвесора. Теория заговора не нашла подтверждения в этот раз :(

Подписаться на комментарии