Все же не совсем понимаю разницу между REST и RPC. Наверное из-за отсутствия практики работы с RPC. И все же спрошу: при REST, по сути происходит ведь такой же удаленный вызов функции: вызов метода контроллера?

Но мне не приходит в голову никакой пример, где есть смысл await_ить таску, код которой есть вычисление в памяти, то есть код этой Task не делает никаких запросов во вне (IO, Database, Network, etc).

В конец добавляем постфикс Async.

Сейчас по-моему тот же Microsoft уже не рекомендует добавлять этот постфикс к именам асинхронных методов.

IO Bound — блокировка, ожидание результата от устройств ввода-вывода — тут асинхронный подход имеет максимальный эффект

Я бы даже сказал «только тут и имеет эффект асинхронный подход».

«Многопоточность — параллельное выполнение»

Я все же не соглашусь с очередным таким определением. Параллельное выполнение — это когда в одно и тоже время выполняется более одной задачи. Многопоточность это (редкий) частный случай параллельности. К примеру, если мы создали два потока и так повезло, что у процессора оказалось свободно два ядра, то тогда да, это параллельность.

На различных форумах порой читаю такие словосочетания «Тренировка модели» и «Создание модели». Это одно и тоже или разные понятия?

Я думаю, что все выглядит так: есть данные, которые прогоняются через выбранный алгоритм машинного обучения. Эта «прогонка» называется просто «Тренировка» (не «Тренировка модели»), а на выходе мы получаем «Модель» (Натренированная модель).

Главной причиной стало то, что я уже почти не программировал и занимал в основном менеджерские позиции

Тоже не хотелось бы, идея по карьерной лестнице разработчика, перестать программировать и даже только заниматься code review и при этом самим не писать код.