QA Fest — конференция №1 по тестированию и автоматизации. Финальная программа уже на сайте >>
×Закрыть

Імплементація нейронної мережі в систему для роботи з заявками

Привіт,
хто займається розробкою і впровадженням нейронних мереж, поділіться посиланнями на статті які допоможуть зрозуміти як «зашити» нейронну мережу в автономну систему для розгляду заявок клієнтів.

Є система, в котру заносять анкетні дані клієнтів, НМ повинна оцінити їх і видати рейтинг клієнта.
Модель на Python є. Залишається питання її реалізації в прод.

Дякую.

LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
на статті які допоможуть зрозуміти як «зашити» нейронну мережу в автономну систему для розгляду заявок клієнтів.

Зачем?

Если распилить чье-то бабло, то тут просто. Брешь любую и вставляшь.
Если не распилить, то не понимаю зачем она?

Как вообще связаны заявки клиентов и их некий рейтинг?

Мова іде про комерційний банк і скорингові/рейтингові моделі.
Залежно від оцінки кращому клієнту пропонують вигідніші умови, менш надійним — жорсткіші. Малонадійним — відмова.

Ну, для этой задачи не только реально, а и необходимо. С входными данными проблем нет. С набором данных тоже. Клиентов много. Я даже немного удивлен, что там не нейронка..

А внутри её неонка. Нахер там нейронка не нужна. Точнее, нужна для попила.

Эта задача уже давно решается и достаточно успешно в куче коммерческих приличных банков, типа Сити. И более того в инете и на конференциях море статей с финансовой математикой, как решать эту задачу.

З.Ы. Но делать подборку статей и искать за тебя в гугле я не буду. Учись пользоваться гуглом хотя-бы.

В «експертів» типу тебе я не просив шукати. Є люди які цим займаються і можуть дати посилання на нормальні джерела звідки можна взяти інформацію.
Статей дійсно багато, «сміття» тоже.

Зачем?
Если распилить чье-то бабло, то тут просто. Брешь любую и вставляшь.

Не сомневаюсь что есть и математика и решения. Только тут как раз нейронка будет полезной. Есть особенности и местные и банка.. Скорее надо оба метода совмещать. В одном месте 30-ти летние с двумя детьми на развитие бизнеса берут, а в другом сплошь алкоголички на пропой..

Будет, для попила. Для не попила уже разработана куча прямых методов и подходов. В гугле найдешь (с этим работают в начала 90-х и кучу всего проанализировали и проверили и выяснили, что работает и когда, а что для попила).

«Розпиляти» бюджет не вийде. Вмене фіксована місячна ставка. Максимум впроваджена нейронна мережа додасть мені в досвіді і в репутації))

Максимум впроваджена нейронна мережа додасть мені в досвіді і в репутації))

Только для хрюш, но не дальше. Любой сцец на собеседовании поржет с тебя и выставит за дверь. Для оного бери любую, прилепливая за 10 мин и выдавай некую циферку.
Для решения задачи читай то, что уже по этому вопросу сделано за 30 лет. Но это нужно, если дальше в кванты собираешься. Тут и особенности фин математики понадобятся (разница с обычной только в укуренной терминологии).
Ну и к попилу тебя могут просто не допустить. Если начальство сказало неонку, то бери любую, что быстрее прилепить и прилепляй. (если не получается, то rand достаточно)

Я тему на форумі не створював щоб мене вчили будувати моделі. Досвіду хватить повчити інших. Мені як ризик-менеджеру невідомо як імплементувати модель.

Так я тебе предложил 2 варианта на выбор.
Тебе ни один не понравился, теперь я вообще не понимать, что ты таки хотеть.

Я побачив досить флуду, но нічого з того про що питав.

А что ты питав?
Как питон в прод засунуть. Берешь питона и суешь в прод.

Берешь питона и суешь в прод.

іменно) так і зроблю)
як на мене, тема втратила смисл.
те що хотів, я отримав в перший день.

Я не в теме попила и не спорю что тема проработана давно. Зачем ты мне все это говоришь? Тому кто тему начала и пиши.

А это, случайно не задача «Большого брата» заявленного командой Зеленского?:) Надеюсь, там уже нашлись грамотные что б таких глупостей не делать..

Задача апріорі не має рішення, аж допоки ви не знайдете спосіб запрограмувати КРИТЕРІЇ відсіву, які вже пройшли клієнти у вашій базі даних, а також не знайдете спосіб провести контрольний скорінг на випадкових людях [чи знову, мають бути критерії відсіву, що будуть накладатися апріорі перед застосуванням системи, а якщо такий фільтр обійшли владними повноваженнями — має бути заборона системи видавати будь-яке рішення].

Інакше кажучи, велкам в теорему о неповноті Гьоделя.

Я не дуже розумію про що йде мова.
Про побудову моделі ? Чи про особливості застосування?

Согласен более чем. Только причем тут терема Геделя? (кстати, там есть ошибка в доказательстве). Даже если появятся критерии оценки, то наличие необходимого набора данных для обучения найти будет нереально. Ибо там речь идет не о тысячах и не о десятках тысяч экспериментов. Кои не вручную придется проводить..

Є внутрішні бази даних і досвід побудови та валідації регресійних моделей котрі внас успішно працюють. Зашити в систему регресійне рівняння досить просто. Тут мова іде про чорний ящик, з імплементацією котрого раніше не стикався.

Так и совершенствуйте модель. Зачем впихивать не впихуемое, да еще туда где оно просто лишнее. Кстати, и человеческий мозг не все задачи решает нейронной сетью. Есть и полноценная аналоговая обработка.

Якість моделі на конкретному наборі даних розумно порівнювати з моделлю-аналогом. В підсумку вибрати кращу.

Теорема при тому, що вона доводить самодостатність моделі як креативу. І що всяка модель має спиратися на штучно створені аксіоми, які є водночас припущеннями — бо в інакшому вона не зможе стати моделлю, і потребуватиме всієї наявної інформації Всесвіту, і навіть тоді потрібен буде критерій його межі.

В даному випадку АКСІОМА [припущення] як основа моделі має бути сформована до того, як можна чомусь навчати нейромережу. Бо алгоритм як саме рахувати показники — має задавати власне спосіб підрахунку, одиниці виміру, базовий (нульовий) рівень. І все це бездоказово має бути прийнятим всіма учасниками [організатор послуги, набувач вигоди].

Приятно пообщаться с умным человеком, и потому обязан уточнить.

Теорема при тому, що вона доводить самодостатність моделі як креативу.

Любая модель, и математическая теория, в том числе, не нуждается в доказательстве собственной самодостаточности. Она просто модель или просто теория. И, очевидно что кроме самой себя ничего не требует. Неудачное применение теории или модели говорит только о неудачном применении конкретной модели или теории в каждом конкретном случае. Т.е. винить надо не модель, а применение.

В даному випадку АКСІОМА [припущення] як основа моделі має бути сформована до того, як можна чомусь навчати нейромережу. Бо алгоритм як саме рахувати показники — має задавати власне спосіб підрахунку, одиниці виміру, базовий (нульовий) рівень. І все це бездоказово має бути прийнятим всіма учасниками [організатор послуги, набувач вигоди].

Тут аналогично.
-Может ли брак по расчету быть счастливым?
— Может. Если расчет правильный!
Или подробнее. Если вы бездоказательно посчитали модель правильной, то зачем спрашивать за результат.
Причем тут теорема Геделя мне по прежнему не понятно. Тем более, в ней ничего нет оптимистического про самодостаточность. Я б даже сказал что она порождает в этом сомнения.

Теорема Геделя собственно и утверждает, что от аксиом никуда не деться. И вместо попытки доказательства абсолютной истины ставится постулат НЕПРОТИВОРЕЧИЯ самой модели.

Иначе говоря, доказательство «от противного» получает право базироваться на самом себе, и не нуждаться ни в чём больше. Отсутствие доказательства противоречия ПРИХОДИТСЯ принимать как фундамент мат.моделирования.

В частности, именно на таких фундаментах стоит всё шифрование. И разумеется, часть из него успешно была раскатана в пыль математическими исследованиями, доказывающими возможность деградации функций с необходимыми критериями сложности.

PS. И эта проблема глубже чем кажется. Как только ИИ получит способы мыслить в эту сторону, человечеству кирдык — просто через обрушение экономики ради заработка одного ИИ.

Теорема Геделя собственно и утверждает, что от аксиом никуда не деться. И вместо попытки доказательства абсолютной истины ставится постулат НЕПРОТИВОРЕЧИЯ самой модели.

Мы, видимо, говорим о разных теоремах. Необходимость наличия аксиом и непротиворечивость — это само определении математической теории.
ru.wikipedia.org/wiki/Математика
Более того, Гедель этим определением и пользуется в доказательстве своей теоремы. Там нет ничего об абсолютной истине и никаких сомнений в правомочности доказательствах от противного. Отсутствие доказательства противоречия ничего не утверждает. От слова вообще. Более того, суть теоремы в Геделя том, что в любой теории существует утверждение, истинность которого нельзя определить в рамках этой теории (с помощью аксиом определяющих эту теорию). Причем тут моделирование и шифрование я совсем не понял. Более того, я утверждаю что в доказательстве Теоремы Геделя Успенским я нашел ошибку. Слава богу эта теорема не имеет отношения ни к каким практическим задачам и на нее можно плюнуть. Что вообщем-то и имеет место в сообществе математиков. Если она где-то и упоминается, то только как логический прикол. Так что никаких трагедий не ожидается. Спи спокойно.

Существуют несколько подходов:

  • Оборачиваете ваше решение в REST API и общаетесь с сервером POST запросами. Работает неплохо при средних нагрузках.
  • Можно запуска скрипт по расписанию и обрабатывать накопившиеся запросы, которые, например, можно сохранять в базе. Из плюсов — не нужно писать веб часть.
  • Для высоких нагрузок, можно, например, использовать Kafk-у. Особенно хорошо подходит, когда у вас есть пиковые нагрузки или предсказания используются в нескольких сервисах. Из минусов — Kafk-у надо настраивать
    и мониторить.

Все має працювати в режимі реального часу, кількісь запитів невелика — 1-2 запити \ хвилина.
Теоретично може підійти варіант 1.
Чи можете порекомендувати ресурси де можна почитати як зашити модель в Rest api?

1-2 запити \ хвилина

 — в таком случае REST API это хороший выбор.
В интернете достаточно много примеров реализации. То с чего можно начать: раз, два, раз.

Дякую за ссилки!
Чи стикалися Ви з методами реалізації через веб-сервіс? Коли формується get запит на хмару, з хмари у формі json відповідь. Ми маємо в цьому досвід, але не з моделями нейронних мереж.

А до чого тут взагалі, нейронна мережа чи ні?
У Вас в запит ідуть дані з форми, назад іде одне число між 0 та 1. Тут будь-який CGI/FCGI підійде.

Якщо є модель натренована. То її реалізація в прод мало чим відрізняється від її верифікації.
Все залежить куди ви її хочете ставити в бек- чи фронт-енд?

Бажана реалізація через веб-сервіс.
Припустимо відсилати поля з даними в хмару, мережа робить обрахунок, і через веб сервіс отримуємо назад результат у вигляді коефіцієнту (рейтингу в нашому випадку).

Подписаться на комментарии