В качестве спикеров выступили представители ФАУ «РОСДОРНИИ» – начальник отдела научного обеспечения испытаний ИТС Полина Малыхина и начальник отдела разработки документов по стандартизации Никита Павлов, а также специалисты ведущих отраслевых организаций – руководитель лаборатории метрологического обеспечения компьютеризированных датчиков и интеллектуальных измерительных систем ГНЦ ФГУП «ВНИИМ им. Д.И. Менделеева» Роальд Тайманов и заместитель председателя ТК 164 «Искусственный интеллект» Майя Млякова. Основными темами выступления стали актуальное состояние нормативной базы и ключевые задачи, обеспечивающие качество, достоверность и безопасность систем на основе искусственного интеллекта (ИИ).
Участникам представили подходы к стандартизации и оценке соответствия технологий ИИ, применяемых в ИТС и высокоавтоматизированных транспортных средствах (ВАТС). Развитие таких решений требует согласованных требований к данным, алгоритмам, процедурам испытаний и подтверждению заявленных характеристик.
«Переход к масштабному внедрению искусственного интеллекта в дорожно-транспортный комплекс невозможен без унифицированной нормативной базы. Именно единые терминология, протоколы и требования к данным позволяют перейти от реактивного управления к предиктивному и обеспечить совместимость разных систем», – отметил Никита Павлов.
Также акцент был сделан на классификации источников неопределенности результатов измерений в системах на основе ИИ. На достоверность результатов могут влиять характеристики средств измерений, условия получения информации, качество обучающих наборов данных и особенности алгоритмов обработки. В связи с этим отдельно рассмотрена необходимость метрологической аттестации обучающих наборов, включая оценку их происхождения, полноты, репрезентативности и достоверности.
Спикеры также обсудили разработку методик поверки и калибровки для нового класса средств измерений, в котором используются технологии ИИ. Подобные методики должны учитывать не только технические характеристики оборудования, но и влияние программных моделей, наборов данных и алгоритмов на получаемый результат.
«Системы на основе искусственного интеллекта в большинстве случаев включают средства измерений, где неопределенность результатов требует особого внимания. Необходимы метрологическая аттестация данных, метрологический самоконтроль средств измерений и методики поверки/калибровки – иначе доверие к ним останется на уровне «черного ящика». Кроме того, полезно применить аналогичный подход к системам на основе искусственного интеллекта в целом», – добавил Роальд Тайманов.
В части испытаний докладчики уделили внимание созданию специализированных полигонов и применению виртуальных сценариев. Сочетание натурных и виртуальных испытаний позволяет оценивать работу систем в различных дорожных и транспортных условиях, в том числе воспроизводить редкие, сложные и потенциально опасные ситуации без риска для участников дорожного движения.
Полина Малыхина подчеркнула: «В рамках проекта создания испытательной лаборатории ИИ в дорожно-транспортном комплексе на базе ФАУ «РОСДОРНИИ» мы формируем решения для практической проверки технологий искусственного интеллекта. Наша задача – разработать воспроизводимый и документированный подход к испытаниям: создать тестовые наборы данных, апробировать методики и определить показатели оценки, чтобы качество и достоверность ИИ-решений в составе ИТС подтверждались не разовой демонстрацией, а проверяемой доказательной базой».
Говоря о позиции ТК 164 относительно заданной тематики Майя Млякова резюмировала: «Наш технический комитет видит главный вызов в обеспечении разработки стандартов, позволяющих создать фундамент для предоставления потребителям гарантий качества технологий искусственного интеллекта, применяемых в различных отраслях экономики и социальной сферы, то есть стандартов для проведения сертификационных испытаний. В центре внимания – требования к тестовым наборам данных, общие требования к системам искусственного интеллекта и методы их испытаний».
Проведенный вебинар объединил вопросы стандартизации, испытаний и метрологии в рамках единого подхода к внедрению ИИ в дорожно-транспортном комплексе. Рассмотренные направления имеют практическое значение для разработчиков ИТС и ВАТС, специалистов по метрологии и стандартизации, испытательных организаций и участников подготовки нормативно-технической документации.
С записью выступления можно ознакомиться по ссылке, а с расписанием предстоящих вебинаров на сайте СПК РОСДОРНИИ.