Различия

Здесь показаны различия между двумя версиями данной страницы.

--- prog_materials [2026/01/14 16:14]
platonova
+++ prog_materials [2026/10/16 15:40] (текущий)
platonova
@@ Строка 1: / Строка 1: @@
 ==== Материалы семинара====
+**21 октября 2026 г., г. Москва.** \\
+// Модель мира анимата, способного к планированию поведения. // \\
+Докладчик: \\
+Карпов В.Э., д.т.н, начальник лаборатории робототехники НИЦ "Курчатовский институт". \\
+Аннотация:
+В докладе рассматриваются результаты очередного этапа проекта по созданию робота-партнера, связанные с решением задачи планирования поведения.
+Семиотическая модель мира (ММ) агента-анимата, представляющая его знания о мире в виде множества понятий и отношений между ними, обычно декларативна. Ее основная задача – систематизация и структуризация сущностей мира анимата. Вместе с тем, классическое или символьное планирование поведения в ИИ является хорошо разработанным механизмом, в основе которого обычно лежит множество т.н. STRIPS-правил, использующих формализм логики предикатов. Отсюда возникает вопрос об интеграции декларативной ММ анимата и процедуры символьного планирования поведения. Показано, как описание действий в стиле STRIPS в виде списков условий выполнимости, добавления и удаления фактов декомпозируется в множество элементов семиотической ММ. При этом понятие семиотической ММ дополняется элементами-слотами на компонентах знаков, а также множеством отношений между слотами и соответствующими семантическими сетями. Показано, что реализация компонентов STRIPS-правил требует наличия в модели знаков, представляющих собой абстрактные сущности ("вещь", "место" и т.п.). В качестве примера рассмотрена задача планирования поведения агента, оперирующего множеством объектов для движения между помещениями и выполнения целевой задачи. Построенная ММ определяет компоненты STRIPS-правил, при этом формулировки условий, цели и вид правил относят задачу к категории "тяжелых": целевые условия включают правило вида "все вещи должны быть на своих местах", а в ходе планирования происходит удаление текущего состояния от цели. Планирование – это сложная вычислительная процедура, поэтому были рассмотрены вопросы поэтапного планирования, при котором единая процедура построения плана как поиск оптимального пути в пространстве состояний заменяется на этапы. Показано, что такое разбиение на этапы позволяет построить итоговый план действий, пусть и не оптимальный.
+В докладе обсуждается роль эмоционально-потребностного (ЭП) и "этического" уровней системы управления анимата в процессе планирования поведения. Если "этический" уровень определяет целеполагание, т.е. задает целевое состояние системы, то ЭП-уровень требует совершенно иной интерпретации STRIPS-правил. Уровень ММ не отвечает за реализацию поведения, его задача – определять состояния элементов ЭП-уровня – актуальных потребностей и виртуальной сенсорики.
+----
+**25 сентября 2026 г., г. Екатеринбург.** \\
+// Этические стандарты IEEE: как должна выглядеть этика глазами инженеров // \\
+Докладчики: \\
+Томильцева Д.А., к. филос. наук, доцент, доцент кафедры социальной философии УрФУ, руководитель образовательной программы магистратуры «Этика в сфере искусственного интеллекта» \\
+Аннотация: В 2016 году Институтом инженеров электротехники и электроники (IEEE) началась работа по созданию системы этического регулирования автономных/интеллектуальных систем, результатом чего стало появление десяти стандартов IEEE серии 7000, охватывающих различные аспекты проектирования и внедрения А/И систем. Объёмные по содержанию, различающиеся друг от друга по форме, данные стандарты призваны согласовать технические требования с основаниями этических теорий и управленческими задачами.
+Этика в инженерных стандартах присутствует в двух аспектах: «операционный» описывает причины и методику внедрения этического проектирования в инженерную деятельность; теоретический объясняет базовые теории и задействованный понятийный аппарат. Такое видение в целом отражает представления инженеров о назначении этического знания и характере моральных проблем: знание контекстно, проблемы утилитарны. Также в части этического содержания все стандарты объединены общим концептуальным подходом, сочетающем в себе нормативную этику, теорию ценностей и (местами) этику разнообразия и принятия.
+Особенность стандартов серии IEEE 7000 заключается в том, что они сосредоточены на решении управленческих задач: организации человеческих отношений – работы инженерных команд, взаимодействия с заинтересованными сторонами, учёта потребностей пользователей и т.д.; выстраивании бизнес-процессов; рекомендации по обращению с конкретными объектами деятельности, такими, например, как базы данных, благополучие пользователей, информационное согласие и др. Единым концептуальным основанием для принятия управленческих решений становится риск-ориентированный подход: этическая, и шире, гуманитарная проблематика описывается в стандартах исходя из него. Опора на риск-ориентированный подход, таким образом, отвечала управленческим, а не техническим задачам, и способствовала укреплению тенденции стандартизации мета-технологий (из десяти действующих стандартов только три касаются конкретных технических вопросов).
+Отдельный интерес вызывает вопрос об участии заинтересованных сторон в принятии за основу риск-ориентированного подхода. Возможно ли, что через присутствие в рабочих группах IEEE представителей крупных IT-компаний, разработка стандартов могла стать каналом лоббирования «виртуальных» продуктов? Тогда основной задачей такого лоббирования могло бы стать формирование посредством стандартизации общественного мнения в отношении технологий ИИ, основанных прежде всего на больших языковых моделях.
+В июле 2026 г. была анонсирована «Глобальная инициатива IEEE 2.0 по этике автономных и интеллектуальных систем», в которой на смену прежней ориентации на риски приходит ориентация на безопасность. Следствием этого станет пересмотр системы моральных ориентиров, развивавшейся на протяжении последних десяти лет.
+----
+**16 сентября 2026 г.**
+// Функции "сверх-разума" в моделях интеллекта. // \\
+Докладчики: \\
+Гафитулин Тимур Маратович, кандидат философских наук. \\
+Аннотация: Тема «сверх-разума» («сверх-интеллекта», «Superintelligence») не нова. Например, Н. Бостром в книге "Superintelligence: Paths, Dangers, Strategies" (в русском переводе книга вышла с названием «Искусственный интеллект. Этапы. Угрозы. Стратегии») смотрит на «сверх-разум» с футурологических и этических позиций. Нам же важен взгляд с точки зрения философии техники. В развитии технологий есть устойчивая тенденция к созданию «супер-систем» и «над-систем». Это и мега-машины, и инфраструктуры, и платформенные, и сетевые решения. Контроль этих супер-решений и их безопасность - не только этическая, но и чисто прикладная, инженерная задача. Чтобы её решить, необходимо ввести в систему как обычные функции регулирования, блокировки и торможения, так и средства экстренной остановки, спасения, отката к предыдущей версии. Для проектирования этих средств и их испытаний нужен или опыт катастроф, или система, превосходящая по своим возможностям регулируемую. В докладе рассматриваются вопросы проектирования Супер-ИИ систем для выполнения этих функций относительно моделей Искусственного Интеллекта. В чём они должны превосходить «обычный ИИ»? В скорости? В объёме данных? В коллективности? В полномочиях? Может ли эта система превосходить «человеческий» интеллект, и что в этом случае будет тем «сверх-разумом», который будет контролировать эту систему? Ответы на эти вопросы лежат в направлении технической «социопроекции», то есть проецирования на технические устройства не органов, а социальных ролей и институтов.
+----
+**10 июня 2026 г.**
+// Когда этика ИИ становится вопросом инфраструктуры: распределение ответственности в регулировании интеллектуальных и робототехнических систем // \\
+Докладчики: \\
+Карташева Анна Александровна, кандидат философских наук, научный сотрудник Международной лаборатории прикладного сетевого анализа НИУ ВШЭ \\
+Аннотация: В докладе предлагается рассматривать этику ИИ как организационное поле, где встречаются разные типы участников: государственные структуры, технологические компании, университеты, исследовательские центры, профессиональные ассоциации, экспертные группы, НКО, международные организации, бизнес-заказчики и конечные пользователи. У каждого из них свои интересы, язык описания рисков, степень влияния и доступ к принятию решений. Поэтому этическое регулирование нельзя свести к декларации общих принципов. Важно понять, кто именно превращает эти принципы в процедуры, стандарты, образовательные практики, инженерные решения и механизмы контроля.  Сетевой анализ необходимо соединять с тематическим анализом: если сетевой подход помогает увидеть конфигурацию поля (акторов, связи, центры влияния и периферийные зоны), то тематический анализ позволяет понять, какие проблемы называются ключевыми.
+----
+**29 апреля 2026 г.**
+// Личностно-адаптируемые интеллектуальные агенты в управлении сложными техническим системами: проблема доверия оператора // \\
+Докладчики: \\
+Дозорцев Виктор Михайлович, д.т.н., директор по развитию бизнеса Центра цифровых технологий (Группа компаний Рубитех); \\
+Венгер Александр Леонидович, д.псх.н., профессор Государственного университета «Дубна». \\
+Аннотация: Проникновение ИИ в управление сложными техническим системами в потенциально опасных ситуациях не только обещает существенные выгоды (предиктивная диагностика состояния дорогостоящего оборудования, оценка рисков, оптимизация режима), но и выявляет неготовность как операторов, так и искусственных агентов (ИА) к продуктивному взаимодействию. Помимо технических факторов (непрозрачность, необъяснимость, коммуникативные ошибки ИА), это объясняется недоучетом личностных особенностей оператора, определяющих его доверие ИА (локус контроля, экстра-/интроверсия, личностная тревожность). Исследование включает ряд экспериментов. В имитационном эксперименте выявляются возможные операторские стратегии взаимодействия с ИА в ситуациях с высоким риском, зависящие от индивидуальных личностных особенностей. В психологическом эксперименте проверяется устойчивость стратегий и способность испытуемого их перестроить при изменении условий работы. Предлагается и обосновывается архитектура системы взаимной адаптации, которая предназначена для повышения уровня операторского доверия ИА и будет проверена в специально созданной компьютерной тренажерной среде.
+----
+**18 марта 2026 г.**
+// Сознание у животных: современная наука в поиске критериев сознания // \\
+Докладчик: Маланчук Ирина Григорьевна, доцент, старший научный сотрудник, канд. психол. наук, НИЦ "Курчатовский институт". \\
+Аннотация: При всей трудности проблемы сознания, при всем многообразии и малоупорядоченном использовании терминов, смежных или в  конкретных исследованиях синонимизированных с термином «сознание», следует признать, что почти 70 назад сознание человека было хорошо определено в отечественной психологии.
+Существеннейшей проблемой остается экстраполяция сознания на ранний онтогенез человека, но активнее всего – на типы и классы животных. С 1940-х гг. о сознании животных написано более 4,5 млн научных работ, в 2025 году – 3,5 тыс., проект «Ландшафт сознания» содержит сведения о 350 концепциях сознания. Подписаны 2 декларации о сознании животных. Существует и радикальная установка признать феномен сознания у животных вообще и по мере развития методологического, экспериментального и инструментального аппаратов «отсекать» тех, кто не отвечает разработанным критериям обладания сознанием.
+----
+**25 февраля 2026 г.**
+// Быть или не быть… на сервере? Этика цифровой смерти в проекте вечной жизни //
+Докладчик: Перова Нина Вадимовна, Институт философии РАН, аспирант.\\
+Аннотация: В докладе рассматриваются ключевые этические проблемы, связанные с развитием технологий цифровых двойников, цифровой смерти и цифрового бессмертия в условиях стремительного прогресса искусственного интеллекта. Особое внимание уделяется созданию цифровых репрезентаций личности на основе больших данных, нейросетевых моделей и генеративных ИИ-систем, способных воспроизводить поведение, речь и стиль мышления человека. Анализируются вопросы идентичности и аутентичности цифрового двойника, границы согласия и посмертного использования данных, проблемы приватности и цифрового наследия, а также риски манипуляции, коммерциализации и подмены личности. Отдельно рассматривается феномен «цифрового бессмертия» как социокультурный и философский вызов: трансформация представлений о смерти, памяти и ответственности в цифровую эпоху.
+----
 **21 января 2026 г.**
 // Этика и математика в искусственном интеллекте. //
-Докладчик: \\
+Докладчик: Юрий Юрьевич Петрунин, доктор философских наук, профессор, заведующий кафедрой «Математических методов и информационных технологий в управлении» факультета государственного управления МГУ имени М.В. Ломоносова, руководитель секции «Управление знаниями» Научного совета при Президиуме РАН по методологии искусственного интеллекта и когнитивных исследований.\\
-Юрий Юрьевич Петрунин, доктор философских наук, профессор, заведующий кафедрой «Математических методов и информационных технологий в управлении» факультета государственного управления МГУ имени М.В. Ломоносова, руководитель секции «Управление знаниями» Научного совета при Президиуме РАН по методологии искусственного интеллекта и когнитивных исследований.\\
-Аннотация: Проблема взаимоотношений математики и этики рассматривается в докладе как значимая для развития искусственного интеллекта и способов его регулирования. Искусственный интеллект (ИИ) является междисциплинарным научным направлением. Активное участие в создании и применении ИИ принимало множество наук: от математики и логики до лингвистики и юриспруденции. Можно отметить, что с развитием исследований в области ИИ важность вклада конкретной науки могла как возрастать, так и уменьшаться. Важны также взаимоотношения между разными науками, которые влияют на эффективность ИИ и его адаптацию в обществе.  С учетом данного контекста заслуживают внимания следующие этапы в истории взимоотношений математики и этики: 1) эпоха античной гармонии, когда математические и этические принципы рассматривались в единой системе (Пифагор, Платон); 2) длительный период «математизации этики» (от Спинозы и Бентама до применения теории игр и нечеткой логики в моральных дилеммах), характеризующийся экспансией математических методов в сферу нравственности; 3) становящийся этап «этики в математике» (Ethics in Mathematics), который предполагает осознание социальной ответственности математиков и этическую рефлексию их деятельности (особенно в контексте больших данных, алгоритмов и искусственного интеллекта). В чем причина «нестабильности» союза математики и этики? Можно ли найти более органические связи между ними? От ответа на эти вопросы зависит не только разработка благожелательного ИИ, но и решение многих других актуальных проблем современности.
+Аннотация: Проблема взаимоотношений математики и этики рассматривается в докладе как значимая для развития искусственного интеллекта и способов его регулирования. Искусственный интеллект (ИИ) является междисциплинарным научным направлением. Активное участие в создании и применении ИИ принимало множество наук: от математики и логики до лингвистики и юриспруденции. Можно отметить, что с развитием исследований в области ИИ важность вклада конкретной науки могла как возрастать, так и уменьшаться. Важны также взаимоотношения между разными науками, которые влияют на эффективность ИИ и его адаптацию в обществе.  С учетом данного контекста заслуживают внимания следующие этапы в истории взаимоотношений математики и этики: 1) эпоха античной гармонии, когда математические и этические принципы рассматривались в единой системе (Пифагор, Платон); 2) длительный период «математизации этики» (от Спинозы и Бентама до применения теории игр и нечеткой логики в моральных дилеммах), характеризующийся экспансией математических методов в сферу нравственности; 3) становящийся этап «этики в математике» (Ethics in Mathematics), который предполагает осознание социальной ответственности математиков и этическую рефлексию их деятельности (особенно в контексте больших данных, алгоритмов и искусственного интеллекта). В чем причина «нестабильности» союза математики и этики? Можно ли найти более органические связи между ними? От ответа на эти вопросы зависит не только разработка благожелательного ИИ, но и решение многих других актуальных проблем современности.
 ----
 **10 декабря 2025 г.**
 // Робот-партнер: по образу и подобию собаки. //
-Докладчики: Карпов В.Э., Томильцева Д.А., Сорокоумов П.С.
+Докладчики: \\
+Карпов В. Э., д.т.н., начальник лаборатории робототехники НИЦ «Курчатовский институт»;\\
+Томильцева Д. А., к.ф.н., доцент кафедры социальной философии Уральский федеральный университет;\\
+Сорокоумов П. С., научный сотрудник лаборатории робототехники НИЦ «Курчатовский институт»\\
 Аннотация: В работе рассматривается возможность создания робота-партнёра, основанного на восприятии человеком его поведения, как служебной собаки. Исходными установками исследование является: 1) оценка поведения робота-партнера с моральной позиции обусловлена психологией восприятия человека; 2) моральный уровень системы управления может воздействовать на поведение искусственного агента, не влияя на работоспособность базовых уровней управления, устойчивость и целостность поведения робота; 3) робот-партнёр должен выполнять функционал собаки и демонстрировать её уникальные поведенческие черты; 4) робот-партнёр, в котором проявлены черты собаки, ограничен в своих когнитивных возможностях. В рамках исследования был произведён отбор ограниченного ряда поведенческих особенностей собаки, связанных с коллаборативными возможностями. Наиболее важные характеристики собаки, такие как строение тела, психология, идеализированные человеческие представления были типизированы по ряду параметров. При разработке модели за характеристикой "строение тела" была оставлена такая функция как способность отображать эмоциональное состояние агента. В качестве теоретической основы для морального уровня системы управления была выбрана концепция количественного эгоистического гедонизма Г. Сиджвика. Разработанная модель была протестирована в ряде экспериментов, представленных в двух ситуациях взаимодействия робота и человека, каждая из которых предполагала несколько поведенческих сценариев, воспроизводящих поведение собак и людей в аналогичной ситуации. В результате проведённых экспериментов была подтверждена работоспособность трехуровневой системы управления: эмоционально-потребностный, когнитивный и оценочный (моральный) уровни. При этом выяснилось, что ряд поведенческих сценариев, внешне выглядевших как результат сложных когнитивных процессов, на самом деле реализуется базовым условно-рефлекторным механизмом (сценарии с "оценкой" ситуации и осцилляциями поведения). Вместе с тем, что внешне казалось простым рефлекторным поведением, требовало привлечения когнитивного уровня управления (сценарии с переориентацией базовых реакций).
 Презентация {{ :karpov-tomiltseva-sorokoumov-2025-12-1.pdf |}}
+Ссылка на запись семинара [[https://rutube.ru/video/a82a0d1722d8ceaddfc21f3cdf3cd918/]]
 ----

Этические проблемы искусственного интеллекта

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы