Обучалось относительно быстро, но это зависит от задачи и архитектуры. Я пробовал на Титане обучать DCGAN, там был датасет на 200к изображений, за ночь результат был визуально почти не отличим от лучшего возможного при такой архитектуре сети. Но, конечно, для максимально лучшего нужно обучать уже дня 2-3. А вот на другой системе с чуть более слабой видеокартой пробовал обучать сеть FCN для сегментации изображений (когда она выделяет людей, технику, животных и прочее, но только не обводит прямоугольниками, а именно закрашивает пятнами), так там за ночь почти ничего не получилось, нужно было хотя бы полный день для минимального результата. На Титане оно бы тоже день обучалось.

А по поводу «ботлнеков» и других узких мест проблем не было. Фреймворки для машинного обучения хранят все переменные на видеокарте и там же обрабатывают, так что процессор нужен разве что бы быстрее читать изображения из выборки и передавать их на обработку на видеокарту.

Большая проблема современных нейронных сетей заключается в самом обучении и материалах для него. Тривиально говоря, что бы стать человеком сознанию нужно жить как человек. Периодически взаимодействовать с окружением, причём не только с другими людьми, но и различными объектами. Даже если современные нейронные сети и способны получить себе настоящее сознание, то как им помочь достичь этого — непонятно. Едва ли можно получить сознание прочитав все книги на свете, пересмотрев пару миллионов изображений или участвуя в диалогах по Интернету. Скорее тут нужна какая-то концепция аля lifetime-learning с возможностью взаимодействовать с окружением, и как её использовать для автоматизированного обучения не совсем ясно. Так что я бы не говорил что ИИ способен принести массовую безработицу.

А вот в чём я уверен — так это что большинство профессий будет его использовать как инструмент. Для помощи в финансовом анализе, для автоматического составления логистики с корректированием человеком. Даже для фермеров он может найти массу применений.