На попередній роботі працював з Hadoop. Мали кілька кластерів з ~100-150 машинами в кластері.
Вся розробка відбувається на Linux-машинах. Hadoop плагіни для IDE не використовували і в принципі не пробували, тому не можу нічого корисного тут сказати.
Напряму Hadoop API не використовували, мали обгортку-фреймворк і виділену команду, яка цей фреймворк розробляла, хоча під час налагоджування програм багато довелося і з Hadoop’ом попрацювати напряму. Сам фреймворк був досить низькорівневий, тобто він транслював MapReduce в MapReduce, а не якусь іншу модель обчислень (як, наприклад, Spark) в MapReduce.
Тестування. Ми мали 3 типи кластерів: production, testing, experimental. Production — для основного пайплайну, він був майже постійно завантажений 24×7. Testing — інтеграційне тестування, в ньому було досить мало машин і він часто простоював. Experimental — для експериментів (в нас було багато машинного навчання), був завантажений в основному в робочий час, хоча часто хтось і на ніч / вихідні лишав експерименти.
Крім того для автоматизованих малих/середніх тестів мали можливість запускати програми локально з файловою системою в пам’яті. Більшість автоматичних тестів використовували локальний режим Hadoop, але майже завжди коли вносили зміни ми хоча б раз перед комітом вручну запускали програму на experimental кластері.
На поточній роботі далі активно працюю з MapReduce, але тут використовується свій велосипед замість Hadoop, тому цей досвід буде нерелевантний.
Я і маю на увазі, що постановка задачі дуже нечітка. Взагалі якщо бути абсолютно дотошним, то це не задача, бо немає питання. Питання в цьому топіку кожен додумує сам, хоча в принципі можна додумати будь-яке питання, наприклад:
Только плохие люди обманывают или крадут. Катя — хорошая. >>> А що сьогодні перед сном ви напишете в свому блокноті? <<<
а) Катя обманывает
б) Катя крадет
в) Катя не крадет
г) Катя обманывает и крадет
д) ни одно из вышеперечисленных
Я не збираюся писати в свому блокноті нічого, тому в цій інтерпретації я би відповів д :).
“жодне з перечислених” != (не равно) “ми не можемо стверджувати жодне з перечислених”bit.ly/11oZT6eу
“ми не можемо стверджувати жодне з перечислених” -это вообще не условие это полное незнание. и хотябы поэтому не может быть верным ответом
Задача: дано факти y = 1, z = 2, x = p + q. Виберіть твердження, які випливають з поданих фактів:
а) x = 1;
б) x = 2;
в) x = 3;
г) x = 4;
д) жодне з перечислених тверджень не випливає з поданих фактів.
Ми просто по різному інтерпретували «жодне з перечислених». У вашій інтерпретації «жодне з перечислених» = «жодне з перечислених не є вірним». Тоді ви праві, бо хоча ми можемо не знати чи Катя краде чи не краде, але ми точно можемо знати що вона або те або інше.
Але можна інтерпретувати «жодне з перечислених» = «ми не можемо стверджувати жодне з перечислених». Тоді варіант д) можливий, якщо ми не можемо однозначно стверджувати «Катя краде» і не можемо однозначно стверджувати «Катя не краде», хоча ми точно знаємо що Катя або краде або не краде.
Проблема двоякої інтерпретації виникає через те, що у задачі представлені варіанти відповіді, але самого питання немає.
Якщо не помиляюся, то ви говорили про закон виключення третього. Я спробував пояснити чому його не можна застосувати в даному випадку: тому що якщо ми не вибираємо відповідь, то це не означає, що ми стверджуємо протилежне цій відповіді.
Не протирічить. Якщо ми НЕ вибрали відповідь «Катя не обманює» це не означає що вона обманює. Це означає, що ми не можемо ствердити істинність, тобто ми не знаємо чи вона обманює чи не обманює.
В авторській постановці правильна відповідь д.
Те, що Катя хороша нічого не каже нам про те чи Катя погана, чи не погана. Відповідно ми не можемо знати чи вона краде / обманює.
В задачі на мат логіку неправильно вважати «якщо Катя хороша, то вона не погана» тільки на основі того, що в філології ці слова прийнято вважати антонімами. Це майже те саме, що відповідати: «Та знаю я ту Катю, ніяка вона не хороша: краде, обманює, ще й п’є і курить».
Взагалі я ніколи не цікавився цим питанням (Hadoop під Windows), тому сильно допомогти тут не зможу.
Наскільки я пам’ятаю, версії, що ми використовували (0.2*) наврядчи би запустилися під Windows без додаткового ПЗ типу Cygwin, бо всередині використовувалися Linux-команди. Але тут стверджують, що починаючи від версії 2.2 Hadoop можна і на Windows запустити без додаткового ПЗ: wiki.apache.org/...adoop2OnWindows.