але й економічніший у плані часу розробки — використання бази даних.

Ящко на кожну задачу використовувати такі инструменти, то у довгостроковій перспективі це буде неможливо добре підтримувати і все краще реалізувати декілька своїх классів.
Якщо це не процесс, що треба автоматично запускати хоча б десятки разів на день — то простіше за все використовувати звичайний bash sort, що добре працюе навіть на десятках Гб рядкових текстових данних. Файли розміром 30-1000 Мб відсортуе менш ніж за секунду.

Було використано два вхідних текстових файли (30 і 1000 Мб), де зберігалися згенеровані випадковими чином 30-символьні рядки.

Це дуже замало. У тому числі в контексті інтервью. Треба розглядати файли розміром десятки чи навіть сотни Гб.

Минулого року для одного РОС сторкнувся с необхідністю опрацьовувати велику кількість рядків у великих файлах, у рамках початкового эксперементу — 330 Гб, корен рядок біля 1000 символів. Вони були «частково» відсортовані.
У процессі треба було досортувати данні певними шматками за зробити декілька незалежних этапів обрацьювання данних и отримати певну статистику. Сортування потрібне було и на цих этапах и для сортування результату.

Чисто із цікавості поставив ціль зробити це локально (не треба так робити!) на рабочому ноуті (Macbook pro 2019, 32 Gb, i9 2.4 GHz, SSD 500 Gb). Мова — Kotlin.
Основні проблеми з якими зіткнувся:
— Звичайно нестача памʼяті, для JMV було виділено біля 20 Gb, що більне ніж на порядок менше за весь розмір данних і є більш-менш лімітом для сучасного PC.
— Нестача розміру диску, бо с такими файлами та усім іншим на ноуті залишалося біля 100 Gb вільного місця.
— Швидкість опрацювання CPU, бо за замовчуванням процесс йде у 1 thread и що б запустити це у декілька потоків — треба набагото більше, ніж створити новий потік і OOM траплялися набагато частіше.

І окремо — увесь цей велосипед, що я зробив для эксперименту, не придатний для використання у продакшину, де данні можуть опрацьовуватися у розподіленних ресурсах (Hadoop/Spark). А розмір данних ще більший и вимірюется у Тб.
Багато де, впровадження, використання та підтримка запропонованного рішення у проді буде follow-up запитанням на інтервью.

Take away що для себе зробив:
— Якщо вам потрібно опрацьювувати десятки Гб саме текстових данних більше одного разу, то скоріше за все ви щось робите не так.
— Відкрив для себе, що є декілька форматів данних, що займаюсь більше ніж на порядок мешне розмір ніж звичайний текстовий. І краще витратити додатковий час, що б відразу отримувами данні у зручному форматі від джерела данних (не завжди можливо)
— Коли треба обрацьовувати великі объеми данних регулярно — краще це відразу робити застосовуючи для чього відповідні инструменти, а не робити ведлсипед самому.
База данних чисто для сортування не є таким рішенням у реальному житті, так як майже завжди з цими данними треба ще щось робити. Hadoop/Spark як раз для чього и розроблялися.

Як будете вирішувати проблему, що не кожне рабоче рішення підходить по складності?
Тобто, наприклад ChatGPT може сгенерувати правильне рішення на O(N^2), але с данними лімітами приймаются лише рішення зі складністю кращою за цю.

Дякую за статтю! Дуже цікаво було читати про такий досвід. Побільше би таких публікацій на dou)

Газ из раши для гуманистического запада > ценность человеческой жизни в соседней стране

Деякі категорії тих, кого не призивають:
— народних депутатів тощо;

Ну, куда же без этого.

Арестованный золотовалютный запас (50% от общего объема рашки) — 300кк, что в 3 раза меньше ущерба. Даже со всем остальным, что еще нужно суметь переоформить, едва ли половина наберется.

Пока непонятно что тем 1 трлн долларов урона Украине и сотнями военных преступлений и убийств. Пока путиноид у власти — рашка будет ложить на все в этом направлении. И на любые решения международных судов.
А накал ситуации постепенно спадет и как всегда всё могут спустить на тормозах.

Не только компаний, а и политиков, медийных личностей, бизнесов платящих налоги в РФ.
Особенно первое важно, что б сбежавших в сложное время политик, больше никогда не мог быть политиков. В идеале с полной конфискацией имущества.

Да и в целом, когда в стране пойдет восстановление, то нужен какой то независимый, но доверенный орган, который будет кошмарить каждого, кто только попробует что то воровать.

От этого будет сложно отмыться. Если не будет подтверждения реальных действий от сотрудников, то скорее всего даже невозможно.

можно и го перебирать вглубь.

А потом такие диванные архитекторы, без элементарной математической базы и какого либо вникания в предметную область архитектурят архитектуры и в которых потом проблемы решают накидыванием серверов...
¯\_(ツ)_/¯

Oleksii, как всегда, прекрасное оформление статьи!
Крайне наглядные gif и изображения с машинами)
Откровенно говоря, полностью тоже не осилил, но однозначно запомнил и буду знать что в первую очередь читать, когда буду тему про генетические алгоритмы)

Администрации dou давно пора ввести возможность фильтрации веток на форуме по никам.

От работы в outstaff проекте, были схожие ощущения. Нам повезло с коллегами и менеджментом со стороны клиента и в самом процессе работе не было различий между нами и девами работающими непосредственно в компании-заказчике.
В случае возвращения в Украину, буду в первую очередь искать позицию в продуктовой компании или outstaff.
Хотя как и везде, все зависит от проекта и людей и один отдельно взятый случай не показатель.

Для приблизительного! расчета можно посмотреть japantaxcalculator.com
Ну и на товары всегда 2 ценника, включая 10% налог.

Ездил и ничего не ощущал при вхождении в туннели на синкансене. Разве что интернет часто пропадает)

Справедливости ради, получить в Украине с 3-мя годами 2.5к несопоставимо проще, чем в Японии 8М с таким же опытом (разве что в Google или Indeed).

Отлично и кратко описали почти всю суть разочарования от университетского образования!
Ни окружение ни программа совершенно не способствовали получению качественного образования.
При этом не могу сказать что попадалось так уж много откровенно плохих преподавателей (один из самых запомнившихся — с какого то из направлений информатики (СумДУ), с лабами в тетради на сравнение архиваторов и оценивание по качеству оформления sick!), но и стремящихся научить чему то — тоже по пальцам пересчитать. Они были, но скорее как исключение в общей массе.
А уж про стремление окружающих студентов учится лучше даже не начинать...

Какой контекст отсылки к Ракутену?

К примеру в стране где сейчас живу (Япония), юридически могут затребовать документы о подтверждении указанного дохода и в противном случае имеют право отозвать оффер. В США вроде слышал, что наоборот юридически запрещено спрашивать текущую ЗП.

Это работает, если только уже выше среднего по рынку получаешь.
Иначе — будут предлагать что то вроде +20% максимум скорее всего.