Енир 25: Ошибка выполнения

Ambarella создает SoC компьютерного зрения (систему на чипах) на основе очень эффективной архитектуры микросхем ИИ и CVflow, которая обеспечивает обработку глубокой нейронной сети (DNN), необходимую для сценариев использования граничных выводов, таких как интеллектуальный домашний мониторинг и интеллектуальные камеры наблюдения. Разработчики преобразуют модели, обученные с помощью фреймворков (таких как TensorFlow или MXNET), в формат Ambarella CVflow, чтобы иметь возможность запускать эти модели на периферийных устройствах. Amazon SageMaker Edge интегрировал цепочку инструментов Ambarella в свой рабочий процесс, что позволяет легко преобразовывать и оптимизировать модели для платформы.

В этом посте мы покажем, как настроить оптимизацию и преобразование модели с помощью SageMaker Edge, добавить модель в периферийное приложение, а также развернуть и протестировать новую модель на устройстве Ambarella CV25 для создания приложения интеллектуальной камеры наблюдения, работающего на периферии. .

Пример использования смарт-камеры

имеют функции машинного обучения (ML) для конкретных случаев использования, такие как обнаружение транспортных средств и животных или выявление возможного подозрительного поведения, парковки или нарушений зоны. Эти сценарии требуют, чтобы модели машинного обучения работали на периферийном вычислительном блоке в камере с максимально возможной производительностью.

, основанные на собственной архитектуре CVflow, обеспечивают высокую производительность логического вывода DNN при очень низком энергопотреблении. Такое сочетание высокой производительности и низкого энергопотребления делает их идеальными для устройств, которым требуются интеллектуальные функции на периферии. Модели машинного обучения необходимо оптимизировать и скомпилировать, чтобы целевая платформа могла работать на периферии. SageMaker Edge играет ключевую роль в оптимизации и преобразовании моделей машинного обучения в наиболее популярные платформы, чтобы их можно было запускать на периферийных устройствах.

Обзор решения

Наше решение для интеллектуальных камер безопасности реализует оптимизацию модели машинного обучения и конфигурацию компиляции, работу во время выполнения, тестирование логических выводов и оценку на пограничном устройстве. SageMaker Edge обеспечивает оптимизацию и преобразование модели для периферийных устройств, чтобы они работали быстрее без потери точности. Модель машинного обучения может быть в любой среде, которую поддерживает SageMaker Edge. Дополнительные сведения см. в разделе Поддерживаемые платформы, устройства, системы и архитектуры.

Интеграция инструментов Ambarella CVflow в SageMaker Edge предоставляет дополнительные преимущества разработчикам, использующим SoC Ambarella:

• Разработчикам не нужно заниматься обновлениями и обслуживанием набора инструментов компилятора, поскольку набор инструментов интегрирован и непрозрачен для пользователя
• Слои, которые не поддерживает CVflow, автоматически компилируются для запуска на ARM компилятором SageMaker Edge

На следующей схеме показана архитектура решения:

Шаги для реализации решения следующие:

1. Подготовьте упаковку модели.
2. Настройте и запустите задание компиляции модели для Ambarella CV25.
3. Поместите упакованные артефакты модели на устройство.
4. Проверить вывод на устройстве.

Подготовить упаковку модели

Для целей Ambarella SageMaker Edge требуется пакет модели, содержащий файл конфигурации модели с именем 9.0045 amba_config.json , калибровочные изображения и файл обученной модели машинного обучения. Этот файл пакета модели представляет собой сжатый файл TAR (*.tar.gz). Вы можете использовать экземпляр блокнота Amazon Sagemaker для обучения и тестирования моделей машинного обучения, а также для подготовки файла пакета модели. Чтобы создать экземпляр записной книжки, выполните следующие шаги:

1. На консоли SageMaker в разделе Notebook на панели навигации выберите экземпляров Notebook .
   
2. Выберите Создать экземпляр блокнота .
3. Введите имя для своего экземпляра и выберите ml. t2.medium в качестве типа экземпляра.

Этого экземпляра достаточно для тестирования и подготовки модели.

4. Для роли IAM создайте новую роль AWS Identity and Access Management (IAM), чтобы разрешить доступ к корзинам Amazon Simple Storage Service (Amazon S3), или выберите существующую роль.
5. Оставьте другие конфигурации по умолчанию и выберите Создать экземпляр блокнота .

Когда статус InService , вы можете начать использовать свой новый экземпляр ноутбука Sagemaker.

6. Выберите Откройте JupyterLab , чтобы получить доступ к своему рабочему пространству.

В этом посте мы используем предварительно обученную модель TFLite для компиляции и развертывания на пограничном устройстве. Выбранная модель представляет собой предварительно обученную модель обнаружения объектов SSD из зоопарка моделей TensorFlow в наборе данных COCO.

7. Загрузите конвертированную модель TFLite.

Теперь вы готовы загрузить, протестировать и подготовить пакет модели.

8. Создайте новый блокнот с ядром conda_tensorflow2_p36 в панели запуска.
9. Импортируйте необходимые библиотеки следующим образом:

    импорт cv2
   импортировать numpy как np
   из tensorflow.lite.python.interpreter импортировать интерпретатор 

10. Сохраните следующий пример изображения как street-frame.jpg , создайте папку с именем calib_img в папке рабочей области и загрузите изображение в текущую папку.
11. Загрузите содержимое загруженного пакета модели в текущую папку.
    
12. Выполните следующую команду, чтобы загрузить предварительно обученную модель TFLite и распечатать ее параметры, которые нам нужны для настройки нашей модели для компиляции:

     интерпретатор = интерпретатор (model_path='ssd_mobilenet_v1_coco_2018_01_28. tflite')
    интерпретатор.allocate_tensors()
    input_details = интерпретатор.get_input_details()
    output_details = интерпретатор.get_output_details()
    высота = input_details[0]['форма'][1]
    ширина = input_details[0]['форма'][2]
    print("Введите имя: '{}'".format(input_details[0]['name']))
    print("Форма ввода: {}".format(input_details[0]['shape'].tolist())) 

    Выходные данные содержат имя ввода и форму ввода:

     Имя ввода: 'normalized_input_image_tensor'
    Форма ввода: [1, 300, 300, 3] 

13. Используйте следующий код, чтобы загрузить тестовое изображение и выполнить вывод:

     изображение = cv2.imread("calib_img/street-frame.jpg")
    image_rgb = cv2.cvtColor (изображение, cv2.COLOR_BGR2RGB)
    imH, imW, _ = image.shape
    image_resized = cv2.resize (image_rgb, (ширина, высота))
    input_data = np.expand_dims (image_resized, ось = 0)
    input_data = (np.float32 (input_data) - 127,5)/127,5
    интерпретатор.set_tensor(input_details[0]['index'], input_data)
    интерпретатор.invoke()
    коробки = интерпретатор. get_tensor(output_details[0]['index'])[0]
    классы = интерпретатор.get_tensor(output_details[1]['index'])[0]
    оценки = интерпретатор.get_tensor(output_details[2]['index'])[0]
    число = интерпретатор.get_tensor(output_details[3]['index'])[0] 

14. Используйте следующий код для визуализации обнаруженных ограничивающих рамок на изображении и сохраните результирующее изображение как street-frame_results.jpg :

     с open('labelmap.txt', 'r') как f:
        labels = [line.strip() для строки в f.readlines()]
    для i в диапазоне (len (баллы)):
        если ((баллы[i] > 0,1) и (баллы[i] <= 1,0)):
            ymin = int(max(1, (boxes[i][0] * imH)))
            xmin = int(max(1, (boxes[i][1] * imW)))
            ymax = int(min(imH, (boxes[i][2] * imH)))
            xmax = int(min(imW, (boxes[i][3] * imW)))
            cv2.rectangle (изображение, (xmin, ymin), (xmax, ymax), (10, 255, 0), 2)
            object_name = labels[int(classes[i])]
            label = '%s: %d%%' % (object_name, int(scores[i]*100))
            labelSize, baseLine = cv2. getTextSize (метка, cv2.FONT_HERSHEY_SIMPLEX, 0,7, 2)
            label_ymin = макс (ymin, labelSize[1] + 10)
            cv2.rectangle (изображение, (xmin, label_ymin-labelSize[1]-10), (xmin + labelSize[0], label_ymin+baseLine-10), (255, 255, 255), cv2.FILLED)
            cv2.putText (изображение, метка, (xmin, label_ymin-7), cv2.FONT_HERSHEY_SIMPLEX, 0,7, (0, 0, 0), 2)
    cv2.imwrite('street-frame_results.jpg', изображение) 

15. Используйте следующую команду, чтобы отобразить результирующее изображение:

     Изображение (имя файла = 'street-frame_results.jpg') 

Вы получите результат вывода, подобный следующему изображению.

Наша предварительно обученная модель TFLite обнаруживает объект автомобиля из кадра камеры видеонаблюдения.

Мы закончили тестирование модели; Теперь давайте упакуем модель и файлы конфигурации, которые требуются Amazon Sagemaker Neo для целей Ambarella.

16. Создайте пустой текстовый файл с именем amba_config. json и используйте для него следующее содержимое:

     {
        "входы": {
            "normalized_input_image_tensor": {
                "форма": "1, 300, 300, 3",
                "путь к файлу": "calib_img/"
            }
        }
    } 

Этот файл является файлом конфигурации компиляции для Ambarella CV25. Значение filepath внутри amba_config.json должно соответствовать calib_img имя папки; несоответствие может привести к сбою.

Содержимое пакета модели готово.

17. Используйте следующие команды, чтобы сжать пакет в файл .tar.gz:

     импортировать tar-файл
    с tarfile.open('ssd_mobilenet_v1_coco_2018_01_28.tar.gz', 'w:gz') как f:
        f.add('calib_img/')
        f.add('amba_config.json')
        f.add('ssd_mobilenet_v1_coco_2018_01_28.tflite') 

18. Загрузите файл в автоматически созданную корзину SageMaker S3 для использования в задании компиляции (или в указанную вами корзину S3):

     импортный производитель шалфея
    сессия = sagemaker. Session()
    ведро = sess.default_bucket()
    print("Ведро S3: "+ведро)"
    префикс = 'сырые модели'
    model_path = sess.upload_data (путь = 'ssd_mobilenet_v1_coco_2018_01_28.tar.gz', key_prefix = префикс)
    print("Путь загруженной модели S3: "+model_path) 

Файл пакета модели содержит калибровочные изображения, файл конфигурации компиляции и файлы модели. После загрузки файла в Amazon S3 вы готовы начать компиляцию.

Скомпилируйте модель для Ambarella CV25

Чтобы начать компиляцию, выполните следующие действия:

1. На консоли SageMaker в разделе Inference на панели навигации выберите Задания компиляции .
   
2. Выберите Создать задание компиляции .
3. Для Имя задания введите имя.
4. Для роли IAM создайте роль или выберите существующую роль, чтобы предоставить Amazon S3 разрешение на чтение и запись для файлов моделей.
   
5. В разделе Входная конфигурация для Расположение артефактов модели введите путь S3 к загруженному файлу пакета модели.
6. Для Конфигурация ввода данных введите {"normalized_input_image_tensor":[1, 300, 300, 3]} , что является формой входных данных модели, полученной на предыдущих шагах.
7. Для платформы машинного обучения выберите TFLite .
   
8. В разделе Output configuration для Target device выберите ваше устройство ( amba_cv25 ).
9. Для S3 Output location введите папку в корзине S3 для сохранения скомпилированной модели.
   
10. Выберите Отправить , чтобы начать процесс компиляции.

Время компиляции зависит от размера вашей модели и архитектуры. Когда ваша скомпилированная модель будет готова в Amazon S3, Столбец состояния отображается как ЗАВЕРШЕНО .

Если статус компиляции показывает FAILED , обратитесь к разделу Устранение ошибок Ambarella для устранения ошибок компиляции.

Разместите артефакты модели на устройстве

Когда задание компиляции завершено, Neo сохраняет скомпилированный пакет в указанном месте вывода в корзине S3. Скомпилированный файл пакета модели содержит преобразованные и оптимизированные файлы модели, их конфигурацию и файлы времени выполнения.

В консоли Amazon S3 загрузите скомпилированный пакет модели, затем извлеките и перенесите артефакты модели на свое устройство, чтобы начать использовать его с приложением для логического вывода на периферии.

Проверка вывода ML на устройстве

Перейдите к терминалу вашего устройства Ambarella и запустите двоичный файл приложения для вывода на устройстве. Скомпилированная и оптимизированная модель машинного обучения запускается для указанного источника видео. Вы можете наблюдать обнаруженные ограничивающие рамки в выходном потоке, как показано на следующем снимке экрана.

Заключение

В этом посте мы выполнили подготовку модели машинного обучения и преобразование ее в цели Ambarella с помощью SageMaker Edge, в который интегрирован набор инструментов Ambarella. Оптимизация и развертывание высокопроизводительных моделей машинного обучения на маломощных периферийных устройствах Ambarella открывает доступ к интеллектуальным периферийным решениям, таким как интеллектуальные камеры безопасности.

В качестве следующего шага вы можете начать работу с SageMaker Edge и Ambarella CV25, чтобы включить машинное обучение для периферийных устройств. Вы можете расширить этот вариант использования с помощью функций разработки Sagemaker ML, чтобы создать сквозной конвейер, включающий пограничную обработку и развертывание.

Об авторах

Эмир Аяр  – ведущий архитектор периферийных прототипов в команде AWS Prototyping. Он специализируется на оказании помощи клиентам в создании решений IoT, Edge AI и Industry 4. 0, а также на внедрении лучших архитектурных практик. Он живет в Люксембурге и любит играть на синтезаторах.

Динеш Баласубраманиам отвечает за маркетинг и поддержку клиентов семейства систем на кристалле безопасности Ambarella, обладая опытом в области системного проектирования, разработки программного обеспечения, сжатия видео и дизайна продуктов. Динеш Он получил степень магистра электроэнергетики в Техасском университете в Далласе, специализируясь на обработке сигналов.

Бахрейн атакует пользователей социальных сетей, эмир Катара посещает Россию, ракетный удар хуситов в Саудовской Аравии (1-31 марта)

Бахрейн угрожает атаковать критически настроенных пользователей социальных сетей

В воскресенье, 25 марта, министр внутренних дел Бахрейна шейх Рашид бин Абдулла аль-Халифа заявил, что страна отслеживает и принимает правовые меры против пользователей социальных сетей, которые выступают против правительства Бахрейна. Страна Персидского залива продолжает преследовать сторонников прав человека, заявляя, что они «сеют хаос» и оказывают негативное влияние на общество и нацию.

Веб-сайты социальных сетей, такие как Twitter, были популярным способом сплотить активистов и оппозиционеров против правительства. Находящийся в изгнании бахрейнский активист Сайед Ахмед Аль-Вадаеи, директор базирующегося в Великобритании Бахрейнского института прав и демократии (BIRD), рассказал о том, как власти Бахрейна преследуют правозащитников и оппозиционеров, а также семьи вышеупомянутых инструмент запугивания. Многие члены семьи Аль-Вадаеи стали мишенью властей Бахрейна.

Эмир Катара посещает Россию для обсуждения сирийского кризиса

Лидер Катара шейх Тамим бин Хамад Аль Тани прибыл в Москву в воскресенье, 25 марта, и в понедельник встретился с президентом Владимиром Путиным, чтобы обсудить ситуацию в Сирии, Йемене и Палестине. Лидеры обсудили множество тем, в частности, поддержку Россией сил Башара Асада, поддержку Катаром оппозиции и возможное участие Катара в постконфликтном восстановлении Сирии.

Лидеры двух стран также обсудили пути расширения сотрудничества и укрепления связей между двумя странами, в частности посредством торговли и инвестиций. Одна из недавно объявленных сделок заключается в том, что Qatar Airways собирается купить 25-процентную долю в российском международном аэропорту Внуково, одном из четырех крупных аэропортов, обслуживающих столицу Москву.

Саудовская Аравия: ракетный удар хуситов убил египтянина в Эр-Рияде

В понедельник, 26 марта, власти Саудовской Аравии объявили, что они перехватили семь баллистических ракет, выпущенных повстанцами-хуситами, три из которых направлялись в сторону Эр-Рияда, а пять — в южном направлении. Саудовские города Абха, Джизан и Наджран. Полковник Турки аль-Малики также сообщил, что в результате осколков погиб житель Египта, еще несколько человек получили ранения. Это нападение показывает, как война в Йемене все больше выходит за границы.

Однако эксперты по ракетам поставили под сомнение эти заявления о перехвате. Такие аналитики, как Джеффри Льюис, эксперт по ракетам из Института международных исследований Миддлбери в Монтерее, штат Калифорния, который ранее изучал запуски других саудовских ракет Patriot, поставили под сомнение пригодность системы обороны США Patriot для перехвата ракет, таких как те, что были выпущены хуситами в Йемене. Аналитики в области обороны говорят, что Королевские силы ПВО Саудовской Аравии в основном полагаются на ракеты, предназначенные для перехвата более медленных, малодальнобойных, неотделяющихся баллистических ракет, в то время как хуситы запускают более быстрые, дальнобойные, отделяющиеся баллистические ракеты.

Абу-Даби и Катар продлевают нефтяную сделку Аль-Бундук

Связанные

Qatar Petroleum продлила контракт с Абу-Даби на продолжение эксплуатации общего морского нефтяного месторождения в условиях блокады Катара. Компания Bunduq, которая занимается эксплуатацией месторождения Аль-Бундук, принадлежит Японии.

После этой новости во вторник Высший нефтяной совет Объединенных Арабских Эмиратов (ОАЭ) опубликовал заявление, в котором отрицает роль Абу-Даби в достижении соглашения с Qatar Petroleum. «Нефтяное месторождение Аль-Бундук в равных долях принадлежит эмирату Абу-Даби и Катару из-за его географического положения. Он находится под управлением японского консорциума в течение последних четырех десятилетий», — говорится в заявлении, опубликованном государственным информационным агентством ОАЭ WAM. «Эта уступка была недавно предоставлена ​​каждым соответствующим правительством японскому консорциуму без прямого общения или взаимодействия между двумя государствами. После расширения этой концессии между ОАЭ и Катаром не устанавливаются никакие коммерческие или торговые отношения».

Мохаммад бин Салман посещает Соединенные Штаты Америки

Наследный принц Саудовской Аравии Мохаммад бин Салман посетил Соединенные Штаты, прибыв в Вашингтон в понедельник, 19 марта. Лидер Саудовской Аравии встретился с политическими и деловыми лидерами в Вашингтоне, Нью-Йорке, Силиконе Долине и других местах, в двухнедельном турне по стране. По словам Надера Хашеми, директора Центра ближневосточных исследований Школы международных исследований имени Джозефа Корбеля Денверского университета, главная цель визита состояла в том, чтобы показать американскому обществу положительный образ Саудовской Аравии.

Связанные книги

Из-за глобального падения цен на нефть бин Салман в прошлом году обнародовал план по избавлению Саудовской Аравии от ее зависимости от нефти. Одним из способов сделать это было установление прочных связей с важными бизнес-лидерами США, в том числе в области финансов и технологий.

На встрече в Белом доме президент Трамп сказал, что надеется, что наследный принц Саудовской Аравии поделится богатством своей страны с США, заявив, что он надеется, что богатство будет разделено «в виде рабочих мест, в виде приобретение лучшей военной техники в любой точке мира».

Президент США также попросил принца найти решение кризиса в Персидском заливе с Катаром.