Візуальні обчислення — це коли на паличках рахують, так?

Всім привіт! Я Саша Каленюк, понад десять років працюю на компанію Materialise, де, ми разом із командою алгоритмістів геометрів, розробляємо найкращі в світі алгоритми для забезпечення 3Д-друку. А ще я трохи викладаю у київському політесі, де ми разом із викладачами і науковцями кафедри ЦТЕ розробили першу освітню програму в Україні з візуальних обчислень. Що звучало б на 600% крутіше, якби хтось крім десятка професорів і доцентів знав, що це таке.

Отже, саме про розуміння терміну я і хотів би сьогодні поговорити. Що це за візуальні обчислення такі, чим вони відрізняються від решти комп’ютерних наук, і навіщо вони потрібні?

Що таке візуальні обчислення?

Термін «візуальні обчислення» є точним, але не влучним, перекладом з англійської терміну «visual computing». Мабуть, влучнішим, але не точним, перекладом був би термін «комп’ютерна графіка і її мокрі друзі». Бо фактично галузь візуальних обчислень є прихистком для всього того, що може і хотіло б залізти під парасольку терміна комп’ютерної графіки, але ніяк туди не влазить.

Наприклад, ЗD моделювання. Майже як комп’ютерна графіка, але графіка — це все-таки про картинку, а 3D моделювання — це про скульптуру. Графіка — це Рафаель, а скульптура — це Донателло. Ніби і близько одне до одного, а все ж таки різні черепашки ніндзя.

Комп’ютерне бачення. Ну теж майже як графіка, але навпаки. Графіка бере полотно і щось там малює, а бачення розбирає, що саме на тому полотні намальовано. Або написано. Розпізнавання тексту — це теж візуальні обчислення.

Далі, обробка відео. Знов таки, відео — це ж майже графіка. Але графіка статична, а відео — ні. Ну, майже завжди ні. Наприклад, один британський режисер зняв десятигодинний фільм про те, як на стіні сохне фарба, лише для того, щоб змусити британський аналог нацкомморалі передивитися його весь на предмет порнографії.

Віртуальна і доповнена реальність. Це взагалі як би і 3D моделювання, і відео водночас. Треба і моделювати предмети, яких у реальному світі не існує, і робити так, щоб вони ще за законами того ж реального світу рухались. Якщо комп’ютерна графіка розпоряджається двома вимірами, то віртуальна реальність — всіма чотирма.

Окрема галузь, яка покривається терміном «візуальні обчислення» — це обробка медичних зображень. Це ніби і бачення і 3D моделювання водночас. Зазвичай, модельєром, на жаль, виступаємо не ми самі, а якась хвороба. Тому і бачимо ми, а точніше наші алгоритми, здебільшого якісь патології. Тобто галузь ця зазвичай не дуже весела. Але дуже цікава, бо класичну анатомію можна, наприклад, вивчити в медичному виші, а патологічну — тільки здати.

Ну і, звісно, власне комп’ютерна графіка теж є галуззю візуальних обчислень. Включно із 3D графікою. Алгоритми рендерингу, шейдингу, а ще весь цей ембіент оклюжн, анті-алаясінг, м’які тіні, — вся та мішура, яку ми відключаємо, щоб ігри не лагали — все це предмети вивчення візуальних обчислень теж.

Отже, візуальні обчислення це галузь, що як би поєднує графіку і не графіку разом. Де ж тоді ця галузь закінчується? Де її межі?

Де межі візуальних обчислень?

Ну от я, наприклад, писав було дисертацію про деформативне моделювання. Щоб зекономити на обчисленнях, я запропонував локалізацію одного відомого алгоритму у N-вимірному просторі. І от поки я деформую тривимірну модель, то лишаюсь у галузі візуальних обчислень. А якщо 57-мірну — то вже ні.

Але якщо 57 вимірів — це степені свободи якогось хитрого маніпулятора для робота, то, керуючи роботом у тривимірному світі, я знов повертаюсь до візуальних обчислень.

Моделювання якогось фізичного процесу — це точно обчислення, але майже точно не візуальне. Чому «майже», тому що, якщо я вдало змоделюю відбиття, поглинання і розсіяння світла, то фактично перевинайду рендеринг, який як раз є цілком візуальним. Але моделювання, наприклад, розплаву атомного реактора — це не візуальні обчислення.

А от візуалізація цього розплаву — знов таки візуальні.

Отже, перша межа проходить по водорозділу візуальний/не візуальний. Якщо я можу щось побачити — це продукт візуальних обчислень. Якщо тільки уявити — не візуальних

А друга межа проходить по водорозділу обчислення/не обчислення. Класична графіка, та що із пензлями і фарбами — це не візуальні обчислення. Якщо художник бере своє приладдя і йде на природу малювати пейзаж, то це графіка, але не комп’ютерна.

Але якщо художник іде малювати у віртуальній реальності, або дизайнер персонажів робить у тій самій віртуальній реальності скульптуру — от тут ми знов повертаємось до візуальних обчислень.

Отже, візуальні обчислення — це про очі і комп’ютер. Якщо ми можемо обійтися без одного чи іншого, то ми не займаємося візуальними обчисленнями.

Для чого вони потрібні?

Ну, у воєнний час-то воно очевидно. Візуальні обчислення — це і «очі» для дронів, і самі дрони, і взагалі все що треба моделювати для 3D друку. А в мирний?

Хтось може подумати, що візуальні обчислення — це суто про ігри і мультики. І так, певна їх частка дійсно пов’язана із віртуальною скульптурою і комп’ютерною графікою. Але це ще не все. Наприклад, «ЦТЕ» у назві моєї кафедри розшифровується як «цифрові технології в енергетиці». Так от хороша частка цих технологій в енергетиці так само пов’язана із візуальними обчисленнями, як і ігри.

Наприклад, наша кафедра розробила модель вітропотоку для України. Завдяки цій моделі можна прогнозувати видобуток вітрової енергії у кожній точці країни, а значить і обгрунтовувати фінансування проєктів з вітроенергетики. На основі цієї моделі був розроблений атлас енергетичного потенціалу відновлювальних джерел енергії України. Це історія про комп’ютери, які ту модель обрахували, і про очі, які цей атлас побачили, отже про візуальні обчислення.

Особисто я займаюсь три-періодичними поверхнями. Здавалося б, чиста геометрія, до чого тут енергетика чи комп’ютери? Але поверхні, які я моделюю — це не просто якісь гіроїди, це майбутні пристрої, які будуються комп’ютером на основі заданих наперед критеріїв. Якщо я моделюю внутрішню поверхню теплообмінника, то в неї має з одного боку бути високе співвідношення площі поверхні до власного об’єму, як у будь-якого радіатора, а з іншого — мінімальна втрата тиску при роботі. Це цілком комп’ютерна задача з багатоцільової оптимізації.

А результат цілком візуальний. Навіть тактильний, якщо його роздрукувати.

Ще мої колеги займаються віртуальною і доповненою реальністю, розробляють в тому числі й пристрої для точного керування речами у віртуальному світі.

А в реальному світі конструюють тенти, які не промокають завдяки їх геометричним властивостям.

Це все вже не обов’язково енергетика, але обов’язково візуальні обчислення. Без них у двадцять першому сторіччі просто ніяк.

У медицині візуальні обчислення дозволяють обробляти медичні зображення. Комп’ютерна томографія вже п’ятдесят років дозволяє отримати тривимірні картинки пацієнтських тельбухів, але отримати ще не означає розібратися. Спеціальні алгоритми, які називаються алгоритмами сегментації, дозволяють знайти на цих зображеннях органи, чужорідні тіла, або патології. Потім інші алгоритми, які називаються алгоритмами реєстрації, дозволяють підлаштувати під пацієнта імпланти, або хірургічні гайди для здійснення операції із найменшим ризиком ускладнень.

У виробництві візуальні обчислення дозволяють оптимізувати процеси, а інколи і уможливити їх. Запакувати щільненько платформу для 3D-друку, підготувати оптимальну розкройку для листа металу, або зварити надійну конструкцію із мінімальним використанням високоякісної сталі.

Ну і про розваги теж забувати не варто. І комп’ютерні ігри, і анімація, і фільми із спецефектами — все це продукти візуальних обчислень. Попри розважальний характер, це все дуже серйозні індустрії. Об’єм ринку тільки відеоігор у 2024 році майже сягнув 300 мільярдів доларів.

Висновки

Візуальні обчислення — це те, що можна побачити очима, але не можна відтворити без обчислень. Комп’ютерна графіка, комп’ютерний зір, 3D-моделювання, анімація, віртуальна реальність, а ще обробка зображень, як пласких, так і тривимірних.

Це не такий модний термін, як штучний інтелект, але для обох світів, як реального, так і віртуального, візуальні обчислення не менш важливі.