Спасибо за Ваш ответ

2. Можно слать один запрос сразу в несколько индексов — www.elastic.co/...​rch-multiple-indices.html
Или msearch если запросы разные: www.elastic.co/...​/search-multi-search.html
У нас тоже много запросов без нормального фильтра по годам. Для этого есть отдельный индекс с метадатой куда мы идем сначала чтоб понять какие года надо кверить, какой роутинг и тд.

3. Мда тут конечно не понятно) Но мне кажется снова-таки из-за железа. У меня такое было при апдейте версии OpenSearch, у них был баг что миграция некоторых типов полей не работала. Пришлось создавать кластер с нуля.

4. То есть чтоб пересоздать индекс эластика, всю инфу для него надо вытянуть сначала из какой-то другой базы и нагружать прод? Можно ж хранить все в avro или parquet.

6. По векторам согласен, нам пришлось использовать Neptune как графовую базу данных для другого use-case, эластик не совсем для этого. Если Vespa умеет хорошо делать и то и другое — это гуд)

7. Выходит 65kb на один документ, еще и compressed наверно, большие статьи) Ждем топик про миграцию и удачного переезда.

Немного не понятно раскрыты проблемы эластика.

1. Название статьи — Эластик ненадежная скотина. Насколько я понял из разговора, когда поменяли машины на другие с ECC памятью, все стало работать норм. Так может это не Эластик скотина а старые инстансы?) В aws я тоже заметил что OpenSearch работает лучше с инстансами где есть свой SSD, а не EBS. Но это ж не делает эластик плохим. По ECC памяти, насколько я вычитал, ещё в 2013 у aws все было на ECC так как это необходимость. Никогда не работал с Hetzner, но это немного удивило.

2. По поводу пересоздания индекса. Эластик не транзакционная база, она не может быть source of truth. Возможность пересоздания индекса без даунтайма это там must have по моему) Скорость создания индекса часто можно оптимизировать — сделать меньше шарды, поиграться с parallelism/batch size и тд. По другому писать индексы чтоб вместо одного индекса на терабайт было несколько по годам или авторам.

3. Как это удалить весь шард? Сколько было реплик шарда, все реплики погибли что-ли которые были на разных инстансах?) Было ли настроено snapshot lifecycle policy?

4. Segments merging logic довольно неплохо работает. Оно старается держать количество marked as deleted документов до 30% и периодически их чистит полностью. Падение производительности я замечал когда несколько раз полностью перезаписываем 100% документов в эластике. В этой ситуации конечно раз в неделю пересоздаем индекс заново. Все это без даунтайма, просто переключаем алиас на новый индекс. Этот индекс специально разделён на два (hot и cold) и пересоздание занимает 30 мин.

5. По добавлению инстансов в кластер. Всегда можно сделать blue-green деплой и просто покопировать шарды в новый кластер) Так может даже правильнее с прод релизом где постоянно большая нагрузка.

6. Честно говоря, так и не понятно почему переезжают на Vespa. Всеволод сказал что последние 2 года все работает норм на эластике. Александр сказал что пока не делал полноценные прод тесты с Vespa. Отсутствие шардов в Vespa это ж может быть и минус. Если например в индексе эластика 2 миллиарда документов и 20 шардов, там можно заюзать роутинг который пойдёт в конкретный шард и не будет искать среди 2 миллиардов доков. Я про Vespa ниче не знаю, но интересно как это реализовано там)

Было бы очень интересно послушать про ваши прод use cases где Vespa работает лучше. Время поиска для разных типов кверей, cpu/memory utilization дата нод, время индексирования, падение производительности при увеличении updated documents. Не у конечно для полноты картины, было б цікаво добавить деталей про текущий эластик — размер индексов, количество шардов и документов и тд) Так было бы больше понятно почему эластик все-таки скотина)

кстати мне из-за этого тоже Tanger не понравился, гулял там прошлой зимой когда днем по −15 было, быстро надоело и пришлось снова ехать в тот самый Бейшор)

Как-то слабо аргументировано.

Даже не буду пытаться аргументировать и сравнивать с кондитерской Сильпо, просто субъективные впечатления) После еженедельных закупок в Metro/Farmboy/Loblaws Сильпо тут нравятся все-равно гораздо больше, времени было достаточно что-бы привыкнуть.

Landmark, не Cineplex

Я честно говоря особой разницы между Cineplex на Carling Ave и Landmark в Канате не заметил

поставили массово recliner seats

Согласен, кресла там крутые. Но тут не хуже, просто они либо на последних рядах либо в отдельных залах)

имею возможность сравнить Farmboy в Оттаве и новый Сильпо в River Mall в Киеве, Сильпо сильно круче, особенно выпечка и кулинария, Фармбою и не снилось хотя и он не плох. Но Сильпо действительно дешевле раза в два. Новый кинотеатр Планета Кино в том-же River Mall мне понравился больше чем Cineplex Cinemas Ottawa, сам молл интереснее чем Bayshore Shopping Centre. В Бейшоре разве что фудкорт круче, особенно разные там Shanghai 360, вот этого тут не хватает)

у вас в Оттаве такой элиты аж 82 человека и 61 за Голос, по сравнению с 34 за Слугу Народа. Это такой прикол у эмигрантов, вечные порохоботы?)

в чем проблема была снимать дважды в месяц в кассе бесплатно? Да и 1.5% это ж если лимит исчерпан, по зарплатной Platinum Black он 90к в месяц.
alfabank.ua/...​fort-ultra-black-2019.pdf

и что же он построил? Сколько на это ушло времени, какую часть работы он делал сам, сколько стоила земля?

ок, 420000 — 40.8% налог = 247.396 / 12 месяцев = 20k.
Идем на numbeo:
You would need around 4,956.17$ (129,774.67₴) in Kiev to maintain the same standard of life that you can have with 20,000.00$ in San Francisco, CA.

Приведите мне пожалуйста аргументы, почему 420к в нетфликсе это уж так сильно отличается от 5к в каком-нибудь Grammarly в Киеве.

вот например дом в коттеджном городке нынешнего президента:
www.olx.ua/...​z-IDATnCA.html#517ddcfcc1

Обычные привычные заборчики, никаких жлобских 5 метров.

на мой взгляд, имеет смысл сравнивать с подобными вариантами:
www.olx.ua/...​o-IDEpt9m.html#3f96b21ebd

По площади он не меньше, возможно даже больше (226м жилая в первом и 340 общая во втором). Участок больше (11 соток и 15). Земля дорогая, рядом Днепр, район элитнее некуда, до Арсенальной в 9 утра на машине 26-45 минут по гугл мапам. Цена в 5 раз меньше. Налог на недвижимость около 500 баксов, коммуналка я уверен гораздо меньше 4к в год

немного не по теме топика, но не мог удержаться
www.youtube.com/watch?v=Oe1cE9oTEEw

поэтому лучше и дальше писать тут, все правильно

эмм, нет. Зашел, залогинился через фейсбук, подтвердил почту, написал коммент

А почему на форуме 1189 комментариев а на сайте минсоцполитики отписались АЖ 49 человек:

www.msp.gov.ua/projects/401

Впадло кликнуть на ссылку и нажать кнопку «Я не погоджусь з даною редакцією»?)

мне тоже почитать было бы очень интересно

Я 4 года назад проходил там обучение. Из 15 человек взяли двух, я был в пролёте. Насколько знаю, те два человека через пол годика от туда ушли.
Если бы мне тогда предложили у них поработать то возможно бы согласился. Они тогда рассказывали что я типа обязан месяц после окончания обучения ждать от них ответа. Думаю что мне бы ничего не было если б забил, но и бодаться особо не хотелось. Курсы мне оч понравились тогда.

Поддерживаю. В Украине спрашивали где учился и все. ТАМ проходил background check в этом самом hireright, ох и контора. На дипломе есть qr код и все пробивается онлайн, думаю так они и делали, но заняло недели три.

Во время иммиграции дало дополнительные баллы.

Ещё ТАМ на совбесах спрашивали тему дипломной работы, удивлению моему не было предела.

Короче диплом пригодится, даже если первые годы работы в Украине будешь на нем колбасу резать

а можно подробнее про это?

Здравствуйте. В 2017 году открыл ФОП 3 группы единый налог. В июне этого года его закрыл. Теперь возможно снова надо будет открыть. Я могу при открытии ФОПа сразу перейти на упрощенную систему в этом году, или только с 01.01.2019? Может можете посоветовать варианты действий для программиста?
Спасибо.