Edge или сервер: где считать нейросети на производстве
Сравниваем варианты развёртывания по стоимости, задержке и требованиям безопасности данных.
Из чего выбираем
Есть два полюса. Считать на месте, рядом с камерой, на компактном устройстве - это edge. Или собирать потоки в одну точку и считать на сервере в серверной или в вашем облаке.
Между ними есть промежуточный вариант, который на практике встречается чаще всего: тяжёлые модели на сервере, лёгкая предфильтрация на месте, чтобы не гонять по сети всё подряд.
Задержка
Если по событию должна сработать автоматика - остановить линию, не открыть турникет, включить сирену, - задержка критична, и считать разумно на месте. Сеть добавляет непредсказуемые десятки и сотни миллисекунд, а на загруженном канале и секунды.
Если событие идёт в отчёт или оператору на разбор, задержка в пару секунд не значит ничего, и центральный сервер удобнее.
Стоимость
- Edge: стоимость растёт линейно с числом точек, каждая камера или группа требует своего устройства
- Сервер: высокий стартовый порог, но одна видеокарта обслуживает много потоков
- Перелом обычно проходит на десятке камер, но точка зависит от тяжести модели
- В расчёт нужно закладывать не только железо, но и обслуживание распределённых устройств
Данные и периметр
Если по регламенту видео не должно покидать площадку, вопрос закрывается сам собой: считаем на месте или на своём сервере внутри контура, наружу уходят только события.
Мы в любом случае разворачиваем решения on-premise или в вашем облаке - к внешним сервисам распознавания видео не отправляем.
Как это решается на практике
Сначала считаем число потоков и требуемую задержку, потом смотрим на регламент по данным и на то, что уже стоит на площадке. Часто оказывается, что подходящий сервер у заказчика уже есть, и весь выбор сводится к видеокарте.
Универсального ответа тут нет, и любой, кто называет его до разговора об инфраструктуре, отвечает наугад.
Опыт наших клиентов
YAVVI внедрили видеоаналитику, которая сократила простои и оптимизировала логистику.
YAVVI внедрили систему контроля качества на базе computer vision, снизив брак и ускорив проверку продукции.
Реализовали AI-решение для обработки документов, что ускорило работу с данными и уменьшило объём ручной обработки.
Мой проект - тематический сайт знакомств. Я оцениваю его как проект высокого уровня сложности: очень непросто найти разработчиков, которые могли бы его реализовать. Я работал с командой Глеба в течение более двух лет с перерывами, которые были связаны исключительно с моим финансовым состоянием. По итогу могу сказать, что вполне доволен проделанной работой. Ребята знают своё дело, с хорошей коммуникабельностью, и всегда помогут советом. В данный момент вся основная работа сделана, сайт находится в рабочем состоянии и набирает пользователей. Есть идеи по добавлению новых функций, и если я решусь на это, то буду реализовывать их и дальше с этой командой.
Команда Глеба была профессиональной, оперативно реагировали на любые возникающие вопросы и шли навстречу в рабочих моментах. В ходе работы с командой были реализованы части и компоненты масштабного сервиса AI LMS платформы.
Мы разрабатывали несколько сервисов, часть из них запускалась в формате MVP: в частности, автоматизировали обработку запросов корпоративных заказчиков на аренду спортивных площадок. Команда проекта была на связи, и мы активно двигались по нашим требованиям. Достаточно оперативно реализовали и запустили продукт. Спасибо команде!
Обращались в YAVVI за доработками нашего сайта pakpakych.ru. Стек у нас не самый простой: Django, GarpixCMS и React SPA. До этого несколько подрядчиков ограничивались общими рекомендациями «в вакууме». Ребята зашли иначе: сначала провели полноценный технический аудит, разобрали каждый из 26 пунктов нашего ТЗ и по каждому написали, что уже реализовано, чего нет и почему. Отдельно ценно, что не стали продавать нам лишние работы, а честно указали, где функционал в проекте уже есть и где два пункта дублируют друг друга. По ходу аудита нашли критичную проблему, о которой мы не подозревали, и одна эта находка окупила всю работу. По каждой задаче была вилка часов и тип работ, никаких «примерно месяц», всё проверялось руками и подтверждалось инструментами. Каждая доработка выведена в админку, это принципиально: мы получили не разовый результат, а инструмент, плюс обучение нашей команды. Рекомендую тем, у кого нетиповой стек и нужен подрядчик, который сначала разберётся, а потом делает. Продолжаем сотрудничество.
Обсудим вашузадачу
Вам необязательно иметь чёткую задачу. Оставьте контакты, и мы разберём ваши текущие бизнес-процессы и честно покажем, где внедрение технологий даст реальный финансовый результат.
Связаться с нами