Эквивалентность диагностики расстройств аутистического спектра у детей в рамках телемедицинских и очных консультаций: обзор литературы

Обложка


Цитировать

Полный текст

Аннотация

ВВЕДЕНИЕ: Применение дистанционных форм оказания психиатрической помощи получило большое распространение в период эпидемиологических ограничений в связи с пандемией COVID-19. Недостаточно разработанными остаются методологические и организационные вопросы, включая уровень эквивалентности применения телемедицинских технологий в диагностике расстройств аутического спектра.

ЦЕЛЬ: Изучение эквивалентности диагностических инструментов в рамках телемедицинских и очных консультаций у детей с расстройствами аутистического спектра по данным современной научной литературы.

МЕТОДЫ: Проведен описательный обзор научных исследований, опубликованных в период с января 2017 по май 2023 года. Были проанализированы работы, представленные в электронных базах данных PubMed, Web of Science и eLibrary. Для обобщения полученных данных был использован описательный анализ.

РЕЗУЛЬТАТЫ: Проведенный анализ убедительно свидетельствует о достаточной эквивалентности применяемых в разных странах дистанционных инструментов для скрининга I уровня, оценочных шкал и структурированных процедур диагностики расстройств аутического спектра с высоким уровнем специфичности от 60,0 до 94,4%, чувствительности от 75 до 98,4% и удовлетворенности пациентов и их законных представителей.

ЗАКЛЮЧЕНИЕ: Широкое использование в клинической практике валидизированных телемедицинских диагностических систем способствует раннему выявлению расстройств аутистического спектра, повышению своевременности и эффективности медицинских, коррекционных психолого-педагогических и абилитационных вмешательств.

Полный текст

ВВЕДЕНИЕ

Ограничения в доступности и своевременности оказания специализированной психиатрической помощи актуальны для всех стран мира. Это связано, главным образом, с высокой распространенностью психических расстройств и кадровым дефицитом профильных служб систем здравоохранения, особенно в малочисленных и географически удаленных от крупных лечебно-диагностических учреждений населенных пунктах, а также с препятствиями при обращении к специалистам из-за высокого уровня стигматизированности [1].

Расстройства аутистического спектра (РАС) являются на сегодняшний день одной из наиболее сложных проблем детской психиатрии в связи с возрастающей в последние десятилетия выявляемостью, недостаточной определенностью этиопатогенетических факторов, диагностических рамок, терапевтических подходов, необходимостью длительной интенсивной комплексной коррекции и абилитации. Описаны существенные ограничения доступности лечебно-диагностической помощи для семей из сельских или отдаленных районов, имеющих более низкий социально-экономический статус [1, 2]. В такой ситуации диагноз РАС ставится со значительным запозданием [3].

Активное использование дистанционных форм оказания помощи, включая проведение телемедицинских консультаций (ТМК), получило большое распространение в период эпидемиологических ограничений в связи с COVID-19 во всем мире [4–6]. В России накоплен достаточный опыт проведения ТМК в формате «врач–врач» при дистанционном взаимодействии медицинских работников между собой, в т.ч. в психиатрии [7, 8]. Вместе с тем потенциально более востребованным в связи с многофакторными ограничениями в доступности специализированной медицинской помощи представляется формат ТМК «пациент–врач» с использованием видеоконференцсвязи (ВКС). Широкий спектр организационно-методических вопросов оказания медицинской помощи при дистанционном взаимодействии медицинских работников с пациентами и/или их законными представителями, связанных с регламентацией объема медицинских вмешательств, применения методов обследования и терапии, обеспечения качества, информационной и клинической безопасности, на сегодняшний день остаются нерешенными [9, 10].

Целью данного обзора стало изучение эквивалентности диагностических инструментов в рамках телемедицинских и очных консультаций детей с расстройствами аутистического спектра по данным современной научной литературы.

МЕТОДЫ

Были проанализированы работы, представленные в электронных базах данных PubMed, Web of Science и eLibrary в период с января 2017 по май 2023 года. Поисковые запросы включали такие ключевые слова, как «телемедицинская диагностика (telemedicine diagnostics)», «телемедицинские консультации (telemedicine consultations)», «эквивалентность телемедицинских консультаций (equivalence of telemedicine consultations)», «расстройства аутистического спектра (autism spectrum disorders)», «дети и подростки (children and teenagers)». Исследования считали приемлемыми для анализа, если в них оценивались сравнительная валидность телемедицинских (дистанционных, удаленных) и очных консультаций с целью диагностики, а также количественной и качественной оценки РАС у детей. Рассмотрены 95 статей, 43 из них были отобраны для анализа. Дополнительно был проанализирован ряд связанных статей в Google Scholar, а также просмотрены более ранние лонгитюдинальные исследования (до 2017 года) и публикации о диагностических методиках, преобразованных для использования в дистанционном формате.

Для обобщения полученных данных был использован описательный анализ.

РЕЗУЛЬТАТЫ

Еще до пандемии COVID-19 отмечался интерес к разработке и апробации новых дистанционных форм оказания помощи пациентам с РАС для улучшения доступности к диагностике и лечебно-коррекционным вмешательствам, а также для повышения роли и активности родителей пациентов в проведении оценочных процедур [11]. Об актуальности и росте объема исследований по тематике применения телемедицинских технологий при оказании медицинской помощи детям и подросткам с РАС свидетельствует изменение количества публикаций в систематических обзорах. Публикация Sutherland и др. в 2019 году [12] содержит анализ результатов 14 исследований, а в последний на сегодняшний день обзор Ellison и др. [13], проведенный всего через 2 года после предыдущего, вошли уже 55 рецензируемых статей.

Полученные данные о применении дистанционного формата диагностики аутистических расстройств в детском возрасте целесообразно разделить на три части: 1) скрининг риска РАС, 2) качественная и количественная диагностика с помощью стандартизированных оценочных шкал и процедур и 3) клиническое (клинико-психопатологическое) обследование. Разграничение 2-го и 3-го вариантов можно провести лишь с некоторой долей условности, т.к. в большей части анализируемых исследований клиническая диагностика включала использование стандартизированных оценочных инструментов, во многих странах предусмотренных стандартами оказания медицинской помощи.

Телемедицинский скрининг риска аутистических расстройств

Большинство используемых методик скрининга представляют собой опросники, в которых полученные суммарные балльные результаты сопоставлялись с заранее установленными пороговыми значениями. Первый уровень скрининговой оценки предполагает первичное сплошное обследование в общей популяции детей с целью выявления риска («красных флажков», т.е., тревожных сигналов) РАС. Инструменты скрининга первого уровня не требуют специальной подготовки, занимают минимальное время для оценки, проводятся родителями или специалистами первичной медицинской сети, но при этом обладают высокой чувствительностью, меньшей специфичностью, в связи с чем относительна высока вероятность ложноположительных результатов. Самой популярной вадидизированной в разных странах мира и наиболее изученной скрининговой методикой первого уровня для оценки риска РАС является Модифицированный контрольный список для выявления аутизма у детей раннего возраста, пересмотренный [The Modified Checklist for Autism in Toddlers, Revised with Follow-Up (M-CHAT-R/F)] для детей в возрасте 16–30 мес [14, 15].

Скрининговые методики второго уровня имеют более высокую специфичность, требуют специальной подготовки и большего времени для интерпретации результатов, и, соответственно, проводятся профильными специалистами. К ним относятся Анкета социальной коммуникации [Social Communication Questionnaire (SCQ)] [16] и Опросник расстройств аутистического спектра [Checklist for Autism Spectrum Disorder (CASD)] [17].

Высокая актуальность и потенциальная востребованность возможностей удаленного первичного скрининга риска РАС отмечена во многих исследованиях в связи с значительным временным разрывом между началом возникновения симптомов и возрастом установления диагноза [18]. Согласно данным Constantino и др. [19], средний возраст постановки диагноза в США составляет более 4 лет, а у 27% детей РАС не диагностируется в возрасте до 8 лет, при этом средний возраст постановки диагноза не снизился за более чем 15 лет.

По данным Qiu и др. [20], дистанционное применение китайской версии Контрольного списка для выявления аутизма у детей раннего возраста CHAT-23-A для скрининга РАС продемонстрировало чувствительность и специфичность 0,92 и 0,90. Сделан вывод о возможности замены в Китае трудоемкой, малоэффективной и дорогостоящей процедуры рутинного офлайн скрининга телемедицинским вариантом на веб-ресурсе Сетевого центра ранней диагностики РАС на основе платформы WeChat1.

В индийском исследовании Kadam и др. [21] сопоставлены результаты удаленного скрининга 39 детей на выявление РАС (M-CHAT-R/F, анализ домашних видеозаписей по 1–2 мин) и традиционного очного обследования в соответствии с диагностическими критериями DSM-5. Удаленная оценка показала корреляцию 94,87% с верифицированным через 3 мес в рамках очного обследования окончательным диагнозом. Согласованность видеооценки между двумя независимыми клиницистами имела каппа- корреляцию 0,803, что было квалифицировано как существенное согласие.

В исследовании Colombo и др. [22] представлен результат изучения первого итальянского онлайн- инструмента использования CHAT у 1250 детей с помощью мобильного приложения с использованием платформы LAMP для педиатров амбулаторий Web Italian Network for Autism Spectrum Disorder (WIN4ASD). Показана эффективность, действенность и устойчивость онлайн-скрининга в системе первичной медико- санитарной помощи.

Дистанционная диагностика РАС с помощью оценочных шкал и структурированных процедур

До пандемии COVID-19 разработка специальных инструментов дистанционной диагностики РАС происходила достаточно медленно, массовый характер она приобрела в последние 2–2,5 года.

Методики на основе традиционной диагностики РАС

Как правило, базовая диагностика аутистических расстройств включает структурированное наблюдение за ребенком, анамнестическую беседу с родителями, оценку когнитивных, речевых и социально-адаптивных функций, а также физикальное обследование. В настоящее время в качестве оценочных инструментов в рамках проведения ТМК используются применяемые и для очной диагностики методики так называемого «золотого стандарта» диагностики РАС, включающего полуструктурированное интервью с родителями: Интервью для диагностики аутизма, пересмотренное [The Autism Diagnostic Interview–Revised (ADI-R)] [23] и структурированное наблюдение за ребенком: Расписание диагностических наблюдений за аутизмом [Autism Diagnostic Observation Schedule (ADOS)] [24].

В исследовании Reese и др. [25] описан один из первых опытов применения ВКС для проведения оценочных процедур с помощью ADI-R и ADOS (модуль 1) в сравнении с аналогичной очной оценкой. Был показан почти 100% уровень согласованности между специалистами (20 из 21 случаев) при постановке диагнозов; некоторые трудности проявились в оценке социально направленного указательного жеста, зрительного контакта с родителем. Опрос выявил высокий уровень удовлетворенности родителей.

Синхронные и асинхронные диагностические подходы

Распространённым в зарубежных литературных источниках является разделение удаленных диагностических подходов на синхронные и асинхронные по способам координации действий специалистов и получателей помощи [26, 27]. Синхронные варианты удаленной диагностики РАС предполагают наблюдение за спонтанным или направленным определенными стимулами поведением ребенка в режиме реального времени в формате онлайн видеоконференции. Асинхронные варианты, как правило, основаны на анализе видеозаписей поведения ребенка. При асинхронных ТМК передача информации пациентом (законными представителями) и обработка ее специалистами происходит в разное время. По сравнению с синхронными ТМК в онлайн-режиме при такой организации взаимодействия могут быть минимизированы сложности согласования графиков потребителей помощи и специалистов, родители могут записывать видео в удобные дни и часы, регистрировать наиболее яркие проявления в поведении ребенка, не будучи ограниченными во времени.

В статье Narzisi [28] подробно представлена комплексная модель телемедицинской диагностической и коррекционной помощи, использующая как синхронный, так и асинхронный алгоритмы взаимодействия ребенка и его законных представителей со специалистами (Приложение 1). Одним из существенных компонентов данной модели является схема подготовки родителями коротких видеороликов, иллюстрирующих особенности поведения ребенка в домашних условиях. Включенные в данную схему сценарии (спонтанная и направленная игра в одиночестве, с родителями, сиблингами, совместный прием пищи, проблемное поведение) с некоторыми вариациями являются универсальными для большинства методик удалённой оценки проявлений РАС. Видеозаписи рекомендуется делать в разные дни для более объемного представления о поведении ребенка.

Исследование Sutantio и др. [29] касалось уточнения валидности диагностики РАС у детей в возрасте 18–30 мес на основе видеозаписей по протоколу, включающему установленные сценарии. Диагностическое согласие по сравнению с очной консультацией составило 82,5%, чувствительность — 91,3%, а специфичность — 70,6%. Сделаны выводы о значительной достоверности дистанционной оценки видеозаписей по сравнению с очной диагностикой РАС.

В статье Riva и др. [30] в качестве наиболее востребованных структурированных методик асинхронной дистанционной оценки РАС приведены Диагностическая оценка натуралистического наблюдения [Naturalistic Observation Diagnostic Assessment (NODA)], Систематическое наблюдение за «красными флажками» аутизма [The Systematic Observation of Red Flags (SORF)] и Краткое наблюдение за симптомами аутизма [Brief Observation of Symptoms of Autism (BOSA)] (Приложение 2).

В пилотном исследовании методики NODA Nazneen и др. [31] родители легко без предварительной подготовки использовали систему для записи видеоматериалов, 96% из которых были признаны клинически значимыми для постановки диагноза «аутизм». В 91% с помощью NODA Connect диагносты уверенно (средняя оценка 4,5 по 5-балльной шкале) пришли к диагностическому результату, совпадающему с предыдущим очным обследованием детей другими специалистами. Smith и др. [32] показали диагностическую согласованность между применением NODA и очной диагностикой в 88,2%, чувствительность составила 84,9%, специфичность — 94,4%.

Сотрудники университета штата Флорида Dow и др. [33] исследовали психометрические свойства предложенной ими методики SORF у 228 детей в возрасте от 18 до 24 мес с РАС, с задержкой развития и с типичным развитием. Получены показатели специфичности 63% и чувствительность 73% для нарушений социальной коммуникации и взаимодействия, специфичность 54% и чувствительность 70% для проявлений стереотипных форм поведения. Наиболее информативными были параметры ограниченного зрительного контакта, взгляда в лицо взрослого, указательного жеста, преобладание интереса к неживым объектам, приверженность к определенным нефункциональным предметам и действиям. В работе Pileggi и др. [34] SORF была апробирована в качестве скринингового инструмента для раннего выявления риска РАС у 122 годовалых младших сиблингов детей с верифицированным аутизмом. В возрасте 24 мес у младших братьев и сестер уточнялся диагноз РАС. При оптимальном пороговом показателе Composite, равным 18, показаны чувствительность 0,77 и специфичность 0,76.

Специалистами NIDA (сети крупнейшего междисциплинарного сервиса в Италии для проведения обсервационных исследований и раннего скрининга РАС) разработан телемедицинский инструмент TeleNIDA для детей в возрасте 18–30 мес. Родители предоставляли 5-минутные видеоролики поведения ребенка в процессе свободной игры, организованной игры с родителями, приема пищи и действий с книгами. Методика также имела хорошие психометрические свойства в сравнении с «золотым стандартом» очной оценки [35].

Среди методик синхронной дистанционной диагностики особенный интерес вызывают инструменты оценки поведения детей младенческого возраста, вызывающей сложности даже при очном обследовании. Talbott и др. [36, 37] исследовали возможности дистанционного выявления риска РАС у 41 младенца (средний возраст — 10,51 мес) с помощью методики Телемедицинской оценки развития младенцев [The Telehealth Evaluation of Development for Infants (TEDI)]. Межэкспертная надежность по большинству критериев оценки составила от 0,88 до 0,94, а ретестовая надежность 0,75, p <0,001 (средний интервал между 2-мя тестированиями — 1,5 недели, диапазон — 5–41 сут).

В исследовании Kryszak и др. [38] проведена оценка методики Дистанционного выявления аутизма в раннем детском возрасте [The Autism Detection in Early Childhood-Virtual (ADEC-V)] у 121 ребенка 18–47 мес. Показаны высокая чувствительность (0,82) и специфичность (0,78), значительная корреляция с результатами оценки с помощью других стандартизированных инструментов (CARS-2, ADI-R), приемлемая внутренняя согласованность (α=0,77).

Краткое описание других структурированных методик дистанционной диагностики проявлений РАС по материалам обзора Berger и др. [39] приведено в Приложении 2.

Одна из наиболее обсуждаемых — методика TELE-ASD-PEDS (TAP) — была специально разработана для дистанционной оценки РАС у детей без фразовой речи в возрасте до 3-х лет еще до пандемии COVID-19. В настоящее время проводится работа по валидизации методики, проведенные предварительные исследования показали достаточный уровень приемлемости и удобства как для сопровождающих лиц, так и для специалистов [40]. Авторы в отдельном исследовании [41, 42] сопоставили восприятие родителями возможностей TAP с адаптированным для формата ВКС Инструментом скрининга аутизма у двухлетних детей [Screening Tool for Autism in Two-Year-Olds (STAT)] [43]. STAT включает оценку ряда коммуникативных действий при инициации взрослым совместной игры с мячом или игрушечной машинкой, наличия просьбы/требования ребенка при предъявлении пищи, повторения движений и простых действий. В варианте для дистанционного применения TELE-STAT содержатся дополнительные инструкции по определенным экспериментальным действиям с ребенком, уточняется у родителей представленность зрительного контакта. Большинство родителей сочли дистанционную с помощью TAP и TELE-STAT оценку удобной и содержательной, отдельно отметили преимущество данных инструментов дистанционной оценки РАС в участии специалистов только по «одну сторону экрана», что расширяет их доступность и масштабируемость.

В последней на сегодняшний день публикации [44] проекта сравнения применения TAP и TELE-STAT с очной оценкой представлены результаты обследования 144 детей в возрасте от 17 до 36 мес, показано диагностическое согласие в 92% случаев. Диагностические расхождения чаще были связаны с меньшей выраженностью аутистической симптоматики или более младшим возрастом детей. В масштабном исследовании McNally Keehn и др. [45] изучали связь клинических характеристик 335 детей в возрасте от 14 до 78 мес с эффективностью дистанционной диагностики РАС с помощью TAP. Для 85% обследованных детей, в т.ч. с речевым недоразвитием, формат ТМК был достаточным для выявления симптоматики РАС, наличие специфического стереотипного поведения в большей степени предсказывало диагноз.

Сведений о применении в России дистанционной диагностики РАС с помощью оценочных шкал и структурированных процедур в доступной литературе за указанный период мы не обнаружили.

Дистанционная диагностика РАС и возможности искусственного интеллекта

Перспективными представляются разработки инструментов дистанционной диагностики РАС с использованием алгоритмов искусственного интеллекта (ИИ) [42-45].

Несколько лет лаборатория Cognoa (Пало-Альто, США) поэтапно валидизирует методику скрининга РАС с использованием ИИ в виде мобильного приложения Cognoa ASD [46, 47] — the Child Behavior Checklist to a novel mobile-health screening tool developed by Cognoa. Данные для машинного обучения были собраны из нескольких репозиториев протоколов ADI-R и ADOS, в автоматическом режиме за короткое время программа оценивает поведенческие характеристики детей по данным отдельных опросников для родителей, специалистов и двух коротких домашних видеороликов. Abbas и др. [46] показали, что усовершенствованный скрининговый инструмент Cognoa второго поколения обеспечивает более высокую точность, чем стандартные методы скрининга (M-CHAT-R/F, SRS-II, SCQ) в том же возрастном диапазоне. Чувствительность и специфичность 90 и 60%, показали потенциал технологии на основе ИИ для улучшения и ускорения выявления РАС у детей раннего возраста. В последней на сегодняшний день публикации двойного слепого проспективного когортного исследования [48] показаны результаты апробации инструмента Cognoa в сравнении с диагностическим соглашением двух или более независимых специалистов в когорте детей в возрасте 18–72 мес с задержкой развития (n=425, 29% распространенность РАС). Для 31,8% участников с определенным результатом (наличие или отсутствие РАС) положительная прогностическая значимость составила 80,8%, отрицательная прогностическая значимость — 98,3%; чувствительность — 98,4%, специфичность — 78,9%. В группе с «неопределенным» результатом, обусловленным недостаточной детализированностью входных данных, у 91% детей было одно или несколько сложных нарушений развития нервной системы. Таким образом, почти для трети выборки скрининговое устройство Cognoa позволило провести своевременную быструю диагностическую оценку с высокой степенью точности.

Клиническая (клинико-психопатологическая) дистанционная диагностика РАС

В большей части исследований клиническая диагностика включала использование некоторых из описанных выше стандартизированных оценочных инструментов. В обзорном исследовании по использованию телемедицинской диагностики РАС Stavropoulos и др. [49] получены данные об эквивалентности диагностических оценок по сравнению с очным приемом в диапазоне 80–91%. В шести исследованиях из десяти была рассчитана чувствительность в диапазоне от 75 до 100%, при этом в 5 из 6 исследований рассчитывали специфичность со значениями в диапазоне от 68,75 до 100%.

Juárez и др. [50] c помощью ТМК диагностировали РАС у 62% детей из 45 детей, в 13% случаев аутистические расстройства в дистанционном формате не удалось ни подтвердить, ни исключить. Matthews и др. [51] исследовали приемлемость диагностики РАС у детей, подростков и взрослых в рамках ТМК, развернутых в центре аутизма на юго-западе США во время пандемии COVID-19. Завершили 6-месячную программу дистанционной диагностики 102 (84%) пациента из 121, для 91% (93 из 102) оказалось достаточно использования только телемедицинских процедур. Очная оценка потребовалась девяти участникам, по опросам специалистов и родителей пациентов телемедицинская модель диагностики РАС приемлема для большинства исследуемых.

Валидность удаленной оценки детей в возрасте 18–30 мес с предварительно установленным по M-CHAT-R риском РАС на основе видеозаписей с определенными сценариями по критериям DSM-5 сопоставлялась с аналогичной очной клинической диагностикой [52]. Диагностическое согласие составило 82,5%, чувствительность — 91,3%, а специфичность — 70,6%. Положительное прогностическое значение составило 80,7%, а отрицательное прогностическое значение — 85,7%.

В сравнительном ретроспекивном клиническом исследовании дистанционных и очных консультаций для 23 пациентов с РАС в возрасте от 4 до 16 лет отмечено совпадение диагноза и рекомендаций по лечению в 96% [53]. Не выявлено различий в удовлетворенности пациентов и родителей, 26% детей предпочли дистанционный формат, а 91% родителей предпочли ВКС без необходимости преодолевать большие расстояния для очного посещения психиатра.

В русскоязычном сегменте мы нашли лишь описание пилотного сравнительного исследования диагностики РАС в рамках ТМК и очных консультаций, которое было проведено в ГБУЗ г. Москвы «НПЦ психического здоровья детей и подростков им. Г.Е. Сухаревой ДЗМ» [54]. В группе ТМК было 84 пациента, очных консультаций — 310. Все консультации проведены одним специалистом, имели стабильную четкую структуру и продолжительность. Обязательные блоки включали наблюдение и оценку спонтанного поведения ребенка, структурированные ситуации взаимодействия с родителями, со специалистами (лечащий врач, психолог, логопед, дефектолог), с удаленным консультантом. Выявлены принципиальные отличия только для оценки взаимодействия ребенка с дистанционным консультантом: сложности оценки зрительного контакта «через экран», степени субъектного отношения пациента к консультанту, наличия/отсутствия невербальных реакций на фоновые, не заметные для консультанта визуальные, звуковые и иные раздражители в связи с фрагментарностью изображения и звуковой картины пространства, в котором находится пациент и его окружение (члены семьи, животные, электронные гаджеты и многое другое). В сценарий ТМК включены дополнительные уточняющие вопросы и действия (пробы).

ОБСУЖДЕНИЕ

Дистанционный формат взаимодействия специалистов и потребителей диагностических услуг в максимальной степени совпадает с задачами скрининговой диагностики РАС. Онлайн скрининг позволяет проводить первичное обследование в значительно большей группе детей в возрасте 16–30 мес в связи с тем, что является легко доступным при размещении обладающих высокой чувствительностью простых инструментов на различных веб-ресурсах, не требует специальной подготовки пользователей — родителей, педагогов или специалистов первичной медицинской сети. Исследования, проведенные в разных странах, позволили сделать выводы о возможности и целесообразности применения телемедицинского формата вместо трудоемкой и дорогостоящей процедуры рутинного офлайн скрининга с ограниченной производительностью [20–22].

Пандемия COVID-19 значительно ускорила и масштабировала разработку специальных инструментов дистанционной диагностики РАС. Проведенный анализ представленных в обзоре публикаций убедительно свидетельствовал о достаточной эквивалентности очному обследованию оценочных шкал и структурированных процедур удаленной диагностики РАС с высоким уровнем специфичности от 60,0 до 94,4%, чувствительности от 75 до 98,4% и удовлетворенности пациентов и их законных представителей. Преобладали диагностические инструменты для детей раннего возраста старше 18 мес, но имеются методики также и для дистанционной диагностики РАС у младенцев 6–12 мес [34, 35].

Синхронные варианты клинико-психопатологической и опирающейся на стандартизированные инструменты дистанционной диагностики РАС максимально приближены к процедуре очного взаимодействия специалистов и получателей помощи, вместе с тем требуют согласования графиков получателей помощи и специалистов. Показана почти 100% согласованность онлайн и офлайн форматов применения специалистами методик так называемого «золотого стандарта диагностики аутизма» ADI-R и ADOS [25].

Асинхронные модели дистанционной оценки симптоматики РАС используют видеозаписи поведения ребенка в привычных для него домашних условиях, свободны от организационных сложностей согласования графика консультаций, дают возможности видеорегистрации наиболее ярких проявлений в удобное время на протяжении необходимого периода времени. Как правило, рекомендуемые сценарии видеозаписей включают фокусировку на спонтанной и направленной игре ребенка как в одиночестве, так и с родителями и сиблингами, совместном приеме пищи, выражении просьб, имитации действий, проблемном поведении. В ряде исследований отмечены некоторые трудности удаленной оценки в режиме ВКС указательного жеста, зрительного контакта, что требует дополнительного уточнения деталей соответствующих проявлений у сопровождающих ребенка лиц [36, 39, 54].

Ограничением данного обзора являлось то, что ряд исследований по рассматриваемой теме мог быть пропущен, поскольку в отборе публикаций не применяли систематический поиск. Кроме того, в ряде исследований методология и качество полученных данных были недостаточно однородными.

ЗАКЛЮЧЕНИЕ

Авторами проведен обзор публикаций о сравнительной эквивалентности применения дистанционного формата диагностики аутистических расстройств в детском возрасте в рамках скрининга риска РАС и клинической диагностики, в т.ч. с помощью стандартизированных оценочных шкал и процедур.

Проанализированы разработанные и валидизированные в разных странах различные структурированные методики качественной и количественной оценки симптомов РАС для применения в режиме ТМК. Большое количество исследований подтвердило их приемлемую эквивалентность очным формам диагностики, достаточную применимость у детей раннего возраста, включая первый год жизни. Вместе с тем доступность применения данных инструментов в российской детской психиатрической практике ограничена, в т.ч. в связи с необходимостью приобретения дорогостоящих лицензий у правообладателей, что повышает актуальность разработки отечественных аналогов. Внедрение и широкое использование в клинической практике валидизированных телемедицинских диагностических систем будет способствовать раннему выявлению РАС, повышению своевременности и эффективности медицинских, коррекционных психолого-педагогических и абилитационных вмешательств.

Активное использование дистанционного формата диагностики способно минимизировать ограничения в доступности и своевременности оказания специализированной помощи детям с РАС, являющимися одной из наиболее сложных проблем современной детской психиатрии.

В России формат ТМК «пациент-врач» при дистанционном взаимодействии медицинских работников с пациентами и/или их законными представителями пока еще не получил широкого распространения, в связи с чем различные организационно-правовые и клинико-методологические аспекты оказания дистанционной помощи при РАС нуждаются в дальнейшей разработке. Одним из актуальных вопросов является подбор валидных диагностических инструментов для удаленной оценки симптоматики с определением рамок соответствия традиционной очным оценочным процедурам.

Вклад авторов: О.З. Хайретдинов: разработка идеи и дизайна исследования, поиск публикаций по теме статьи, получение данных для анализа, написание текста рукописи; Л.И. Рубакова: разработка дизайна исследования, анализ полученных данных, обсуждение результатов и формирование выводов. Все авторы внесли существенный вклад в проведение исследования и подготовку статьи, прочли и одобрили финальную версию до публикации.

Финансирование: Исследование проведено без спонсорской поддержки.

Конфликт интересов: Авторы заявляют об отсутствии конфликта интересов.

×

Об авторах

Олег Замильевич Хайретдинов

ГБУЗ «Научно-практический центр психического здоровья детей и подростков им. Г.Е. Сухаревой ДЗМ г. Москвы»

Автор, ответственный за переписку.
Email: psycheas@yandex.ru
ORCID iD: 0000-0002-9842-3524
SPIN-код: 1510-7771
Scopus Author ID: 56558554800

к.м.н., Ведущий научный сотрудник научно-организационного отдела, ГБУЗ «Научно-практический центр психического здоровья детей и подростков им. Г.Е. Сухаревой Департамента здравоохранения г. Москвы»

Россия, Москва

Люсьена Игоревна Рубакова

ГБУЗ «Научно-практический центр психического здоровья детей и подростков им. Г.Е. Сухаревой ДЗМ г. Москвы»

Email: rubakova-m@rambler.ru
ORCID iD: 0009-0004-6224-9642

детский врач-психиатр консультативно-диагностического отделения, ГБУЗ г. Москвы «Научно-практический центр психического здоровья детей и подростков им. Г.Е. Сухаревой Департамента здравоохранения г. Москвы»

Россия, Москва

Список литературы

  1. Drahota A, Sadler R, Hippensteel C, Ingersoll B, Bishop L. Service deserts and service oases: Utilizing geographic information systems to evaluate service availability for individuals with autism spectrum disorder. Autism. 2020;24(8):2008–20. doi: 10.1177/1362361320931265.
  2. Sutherland R, Trembath D, Hodge MA, Rose V, Roberts J. Telehealth and autism: Are telehealth language assessments reliable and feasible for children with autism? Int J Lang Commun Disord. 2019;54(2):281–91. doi: 10.1111/1460-6984.12440.
  3. Antezana L, Scarpa A, Valdespino A, Albright J, Richey JA. Rural Trends in Diagnosis and Services for Autism Spectrum Disorder. Front Psychol. 2017;8:590. doi: 10.3389/fpsyg.2017.00590.
  4. Hincapié MA, Gallego JC, Gempeler A, Piñeros JA, Nasner D, Escobar MF. Implementation and Usefulness of Telemedicine During the COVID-19 Pandemic: A Scoping Review. J Prim Care Community Health. 2020;11:2150132720980612. doi: 10.1177/2150132720980612.
  5. Raparia E, Husain D. COVID-19 Launches Retinal Telemedicine into the Next Frontier. Semin Ophthalmol. 2021;36(4):258-263. doi: 10.1080/08820538.2021.1893352.
  6. Volkova OA, Budarin SS, Smirnova EV, Elbek YuV. Experience of using telemedicine technologies in healthcare systems of foreign countries and the Russian Federation: systematic review. FARMAKOEKONOMIKA. Modern Pharmacoeconomics and Pharmacoepidemiology. 2021;14(4):549–62. doi: 10.17749/2070-4909/farmakoekonomika.2021.109. Russian.
  7. Chumakov EM, Babin SM, Azarova LA, Petrova NN, Limankin OV. Telemedical technologies in psychiatric and psychotherapeutic care during the COVID-19 pandemic – challenges and perspectives. Bulletin of Psychotherapy. 2021;78 (83):20–35. Russian.
  8. Tarasov VG. The experience of using telemedicine technologies in the National Medical Research Center of Psychiatry and Narcology n.a. V.P. Serbsky. Menthal Health. 2022;17(8):3–9. doi: 10.25557/2074-014X.2022.08.3-9. Russian.
  9. Khairetdinov OZ, Bebchuk MA, Vladzymyrskyy AV, Morozov SP. State and prospects of legal regulation of telemedicine consultation in the patient-specialist format in children’s psychiatric practice. S.S. Korsakov Journal of Neurology and Psychiatry. 2021;121(11):103–7. doi: 10.17116/jnevro20211211 12103. Russian.
  10. Solokhina TA, Kuzminova MV, Mitikhin VG. Telepsychiatry and telepsychology: possibilities and limitations of remote work. Psikhiatriya. 2021;19(3):68–79. doi: 10.30629/2618-6667-2021-19-3-68-79. Russian.
  11. Zwaigenbaum L, Bishop S, Stone WL, Ibanez L, Halladay A, Goldman S, Kelly A, Klaiman C, Lai MC, Miller M, Saulnier C, Siper P, Sohl K, Warren Z, Wetherby A. Rethinking autism spectrum disorder assessment for children during COVID-19 and beyond. Autism Res. 2021;14(11):2251–9. doi: 10.1002/aur.2615.
  12. Sutherland R, Trembath D, Roberts J. Telehealth and autism: a systematic search and review of the literature. Int J Speech Lang Pathol. 2018;20(3):324–36. doi: 10.1080/17549507.2018.1465123.
  13. Ellison KS, Guidry J, Picou P, Adenuga P, Davis TE 3rd. Telehealth and autism prior to and in the age of COVID-19: a systematic and critical review of the last decade. Clin Child Fam Psychol Rev. 2021;24(3):599–630. doi: 10.1007/s10567-021-00358-0.
  14. Robins DL, Casagrande K, Barton M, Chen CM, Dumont-Mathieu T, Fein D. Validation of the modified checklist for Autism in toddlers, revised with follow-up (M-CHAT-R/F). Pediatrics. 2014;133(1):37–45. doi: 10.1542/peds.2013-1813.
  15. Pop-Jordanova N, Zorcec T. Does the M-Chat-R give important information for the diagnosis of the autism spectrum disorder? Pril (Makedon Akad Nauk Umet Odd Med Nauki). 2021;42(1):67–75. doi: 10.2478/prilozi-2021-0005.
  16. Rutter M, Bailey A, Lord C. Social Communication Questionnaire (SCQ) Manual. Western Psychological Services; Los Angeles, CA, USA; 2000.
  17. Mayes S. Diagnosing autism with Checklist for Autism Spectrum Disorder (CASD). In: Patel V, Preedy V, Martin C (eds). Comprehensive Guide to Autism. Springer, New York, NY; 2014. doi: 10.1007/978-1-4614-4788-7_11.
  18. Liu M, Ma Z. A systematic review of telehealth screening, assessment, and diagnosis of autism spectrum disorder. Child Adolesc Psychiatry Ment Health. 2022 Oct 8;16(1):79. doi: 10.1186/s13034-022-00514-6.
  19. Constantino JN, Abbacchi AM, Saulnier C, Klaiman C, Mandell DS, Zhang Y, Hawks Z, Bates J, Klin A, Shattuck P, Molholm S, Fitzgerald R, Roux A, Lowe JK, Geschwind DH. Timing of the diagnosis of autism in African American children. Pediatrics. 2020;146(3):e20193629. doi: 10.1542/peds.2019-3629.
  20. Qiu T, Zhang H, Zhou C, Tang Q, Wang L, Ke X. Application of telemedicine for preliminary screening of autism spectrum disorder. Front Pediatr. 2022;9:745597. doi: 10.3389/fped.2021.745597.
  21. Kadam A, Soni IG, Kadam S, Pandit A, Patole S. Video-based screening for children with suspected autism spectrum disorder — experience during the COVID-19 pandemic in India. Res Autism Spectr Disord. 2022;98:102022. doi: 10.1016/j.rasd.2022.102022.
  22. Colombo P, Buo N, Busti Ceccarelli S, Molteni M. Integrating a new online platform in primary care for early detection, referral, and intervention in autism spectrum disorder: the first Italian pivotal project. Brain Sci. 2022;12(2):256. doi: 10.3390/brainsci12020256.
  23. Rutter M, Le Couteur A, Lord C. ADI-R: The Autism Diagnostic Interview—Revised. Los Angeles: Western Psychological Services; 2003.
  24. Lord C, Rutter M, DiLavore PC, Risi S. Autism Diagnostic Observation Schedule. Los Angeles: Western Psychological Services; 2002.
  25. Reese RM, Jamison R, Wendland M, Fleming K, Braun MJ, Schuttler JO, Turek J. Evaluating interactive videoconferencing for assessing symptoms of autism. Telemed J E Health. 2013;19(9):671–7. doi: 10.1089/tmj.2012.0312.
  26. Narzisi A. Phase 2 and Later of COVID-19 Lockdown: is it possible to perform remote diagnosis and intervention for Autism Spectrum Disorder? An online-mediated approach. J Clin Med. 2020;9(6):1850. doi: 10.3390/jcm9061850.
  27. Alfuraydan M, Croxall J, Hurt L, Kerr M, Brophy S. Use of telehealth for facilitating the diagnostic assessment of Autism Spectrum Disorder (ASD): a scoping review. PLoS One. 2020;15(7):e0236415. doi: 10.1371/journal.pone.0236415.
  28. Sutantio JD, Pusponegoro HD, Sekartini R. Validity of Telemedicine for Diagnosing Autism Spectrum Disorder: Protocol-Guided Video Recording Evaluation. Telemed J E Health. 2021;27(4):427–31. doi: 10.1089/tmj.2020.0035.
  29. Riva V, Villa L, Fulceri F, Arduino GM, Leonti G, Valeri G, Casula L, Zoccante L, Puttini E, Sogos C, Presicce M, Bentenuto A, Apicella F, Molteni M, Scattoni ML. The teleNIDA: early screening of Autism Spectrum Disorder through a novel telehealth approach. J Autism Dev Disord. 2023:1–11. doi: 10.1007/s10803-023-05927-6.
  30. Nazneen N, Rozga A, Smith CJ, Oberleitner R, Abowd GD, Arriaga RI. A novel system for supporting autism diagnosis using home videos: iterative development and evaluation of system design. JMIR Mhealth Uhealth. 2015;3(2):e68. doi: 10.2196/mhealth.4393.
  31. Smith CJ, Rozga A, Matthews N, Oberleitner R, Nazneen N, Abowd G. Investigating the accuracy of a novel telehealth diagnostic approach for autism spectrum disorder. Psychol Assess. 2017;29(3):245–52. doi: 10.1037/pas0000317.
  32. Dow D, Day TN, Kutta TJ, Nottke C, Wetherby AM. Screening for autism spectrum disorder in a naturalistic home setting using the systematic observation of red flags (SORF) at 18–24 months. Autism Res. 2020;13(1):122–33. doi: 10.1002/aur.2226.
  33. Pileggi ML, Brane N, Bradshaw J, Delehanty A, Day T, McCracken C, Stapel-Wax J, Wetherby AM. Early observation of red flags in 12-month-old infant siblings later diagnosed with Autism Spectrum Disorder. Am J Speech Lang Pathol. 2021;30(4):1846–55. doi: 10.1044/2020_AJSLP-20-00165.
  34. Talbott MR, Dufek S, Zwaigenbaum L, Bryson S, Brian J, Smith IM, Rogers SJ. Brief report: preliminary feasibility of the TEDI: a novel parent-administered telehealth assessment for Autism Spectrum Disorder symptoms in the first year of life. J Autism Dev Disord. 2020;50(9):3432–9. doi: 10.1007/s10803-019-04314-4.
  35. Talbott MR, Dufek S, Young G, Rogers SJ. Leveraging telehealth to evaluate infants with prodromal autism spectrum disorder characteristics using the telehealth evaluation of development for infants. Autism. 2022;26(5):1242–54. doi: 10.1177/13623613211045596.
  36. Kryszak EM, Albright CM, Stephenson KG, Nevill RE, Hedley D, Burns CO, Young RL, Butter EM, Vargo K, Mulick JA. Preliminary validation and feasibility of the Autism Detection in Early Childhood-Virtual (ADEC-V) for autism telehealth evaluations in a hospital setting. J Autism Dev Disord. 2022;52(12):5139–49. doi: 10.1007/s10803-022-05433-1.
  37. Berger NI, Wainer AL, Kuhn J, Bearss K, Attar S, Carter AS, Ibanez LV, Ingersoll BR, Neiderman H, Scott S, Stone WL. Characterizing available tools for synchronous virtual assessment of toddlers with suspected autism spectrum disorder: a brief report. J Autism Dev Disord. 2022;52(1):423–34. doi: 10.1007/s10803-021-04911-2.
  38. Wagner L, Corona LL, Weitlauf AS, Marsh KL, Berman AF, Broderick NA, Francis S, Hine J, Nicholson A, Stone C, Warren Z. Use of the TELE-ASD-PEDS for autism evaluations in response to COVID-19: preliminary outcomes and clinician acceptability. J Autism Dev Disord. 2021;51(9):3063–72. doi: 10.1007/s10803-020-04767-y.
  39. Corona LL, Weitlauf AS, Hine J, Berman A, Miceli A, Nicholson A, Stone C, Broderick N, Francis S, Juárez AP, Vehorn A, Wagner L, Warren Z. Parent perceptions of caregiver-mediated telemedicine tools for assessing autism risk in toddlers. J Autism Dev Disord. 2021;51(2):476–86. doi: 10.1007/s10803-020-04554-9.
  40. Stone WL, McMahon CR, Henderson LM. Use of the Screening Tool for Autism in Two-Year-Olds (STAT) for children under 24 months: an exploratory study. Autism. 2008;12(5):557–73. doi: 10.1177/1362361308096403.
  41. McNally Keehn R, Enneking B, Ryan T, James C, Tang Q, Blewitt A, Tomlin A, Corona L, Wagner L. Tele-assessment of young children referred for autism spectrum disorder evaluation during COVID-19: Associations among clinical characteristics and diagnostic outcome. Autism. 2022:13623613221138642. doi: 10.1177/13623613221138642.
  42. Duda M, Daniels J, Wall DP. Clinical Evaluation of a Novel and Mobile Autism Risk Assessment. J Autism Dev Disord. 2016;46(6):1953–61. doi: 10.1007/s10803-016-2718-4.
  43. Duda M, Kosmicki JA, Wall DP. Testing the accuracy of an observation-based classifier for rapid detection of autism risk. Transl Psychiatry. 2014;4(8):e424. doi: 10.1038/tp.2014.65. Erratum in: Transl Psychiatry. 2014;4:e440.
  44. Shahamiri SR, Thabtah F. Autism AI: a new Autism Screening System based on artificial intelligence. Cogn Comput. 2020;12(8):766–77. doi: 10.1007/s12559-020-09743-3.
  45. Kanne SM, Carpenter LA, Warren Z. Screening in toddlers and preschoolers at risk for autism spectrum disorder: Evaluating a novel mobile-health screening tool. Autism Res. 2018;11(7):1038–49. doi: 10.1002/aur.1959.
  46. Abbas H, Garberson F, Glover E, Wall DP. Machine learning approach for early detection of autism by combining questionnaire and home video screening. J Am Med Inform Assoc. 2018;25(8):1000–7. doi: 10.1093/jamia/ocy039.
  47. Abbas H, Garberson F, Liu-Mayo S, Glover E, Wall DP. Multi-modular AI approach to streamline autism diagnosis in young children. Sci Rep. 2020;10(1):5014. doi: 10.1038/s41598-020-61213-w.
  48. Megerian JT, Dey S, Melmed RD, Coury DL, Lerner M, Nicholls CJ, Sohl K, Rouhbakhsh R, Narasimhan A, Romain J, Golla S, Shareef S, Ostrovsky A, Shannon J, Kraft C, Liu-Mayo S, Abbas H, Gal-Szabo DE, Wall DP, Taraman S. Evaluation of an artificial intelligence-based medical device for diagnosis of autism spectrum disorder. NPJ Digit Med. 2022;5(1):57. doi: 10.1038/s41746-022-00598-6.
  49. Stavropoulos KK, Bolourian Y, Blacher J. A scoping review of telehealth diagnosis of autism spectrum disorder. PLoS One. 2022 Feb 10;17(2):e0263062. doi: 10.1371/journal.pone.0263062.
  50. Juárez AP, Weitlauf AS, Nicholson A, Pasternak A, Broderick N, Hine J, Stainbrook JA, Warren Z. Early Identification of ASD Through telemedicine: potential value for underserved populations. J Autism Dev Disord. 2018;48(8):2601–10. doi: 10.1007/s10803-018-3524-y.
  51. Matthews NL, Skepnek E, Mammen MA, James JS, Malligo A, Lyon A, Mitchell M, Kiefer SL, Smith CJ. Feasibility and acceptability of a telehealth model for autism diagnostic evaluations in children, adolescents, and adults. Autism Res. 2021;14(12):2564–79. doi: 10.1002/aur.2591.
  52. Sutantio JD, Pusponegoro HD, Sekartini R. Validity of telemedicine for diagnosing Autism Spectrum Disorder: protocol-guided video recording evaluation. Telemed J E Health. 2021;27(4):427–31. doi: 10.1089/tmj.2020.0035.
  53. Elford R, White H, Bowering R, Ghandi A, Maddiggan B, St John K, House M, Harnett J, West R, Battcock A. A randomized, controlled trial of child psychiatric assessments conducted using videoconferencing. J Telemed Telecare. 2000;6(2):73–82. doi: 10.1258/1357633001935086.
  54. Rubakova LI, Khairetdinov OZ. [Comparative study of early diagnosis of childhood autism in the framework of telemedicine and face-to-face consultations]. In: Semenova NV, editor. Preventive psychiatry: early diagnosis and timely therapy: materials of the conference of the All-Russian scientific and practical conference with international participation; 2022 Sep 22–23. Kazan; 2022. p. 164-8. Russian.
  55. Roid GH, Miller LJ. Leiter international performance scale-revised (Leiter-R). Wood Dale, IL: Stoelting; 1997.
  56. Greene JA, Trujillo S, Isquith PK, Gioia GA, Espy KA. Enhanced interpretation of the Behavior Rating Inventory of Executive Function–Preschool version (BRIEF-P) (white paper) PAR; Lutz, FL, USA; 2019.
  57. Achenbach TM, Rescorla LA Manual for the ASEBA preschool forms and profiles. Burlington, VT: University of Vermont, Research center for children, youth, & families. 2000;30.
  58. Fenson l, Pethick S, Renda C, Cox JL, Dale PS, Reznick J.S. Short-form versions of the MacArthur Communicative Development Inventories. Applied Psycholinguistics. 2000;21(1):95–116. doi: 10.1017/S0142716400001053.
  59. Schopler E, Van Bourgondien ME, Wellman GJ, Love SR. Childhood Autism Rating Scale. 2nd ed. Western Psychological Services; Los Angeles, CA, USA; 2010.
  60. Lam KS, Aman MG. The Repetitive Behavior Scale-Revised: independent validation in individuals with autism spectrum disorders. J Autism Dev Disord. 2007;37:855–66. doi: 10.1007/s10803-006-0213-z.
  61. Rutter M, Bailey A, Lord C. Social Communication Questionnaire (SCQ) Manual. Western Psychological Services; Los Angeles, CA, USA; 2000.
  62. Dunn W. Sensory Profile. Harcourt Assessment; San Antonio, TX, USA; 1999.
  63. Constantino J, Gruber J. Social Responsiveness Scale (SRS) manual. Western Psychological Services; Los Angeles, CA, USA; 2005.
  64. Abidin RR. Parenting Stress Index. 4th ed. PAR; Lutz, FL, USA; 2012.
  65. Sparrow SS, Cicchetti DV, Balla DA. Vineland adaptive behavior scales Vineland-II: Survey forms manual. Minneapolis, MN: Pearson; 2005.
  66. Dow D, Holbrook A, Toolan C, McDonald N, Sterrett K, Rosen N, Kim SH, Lord C. The Brief Observation of Symptoms of Autism (BOSA): development of a new adapted assessment measure for remote telehealth administration Through COVID-19 and Beyond. J Autism Dev Disord. 2022;52(12):5383–94. doi: 10.1007/s10803-021-05395-w.
  67. Grzadzinski R, Carr T, Colombi C, McGuire K, Dufek S, Pickles A, Lord C. Measuring changes in social communication behaviors: preliminary development of the Brief Observation of Social Communication Change (BOSCC). J Autism Dev Disord. 2016;46(7):2464–79. doi: 10.1007/s10803-016-2782-9.
  68. Adamson LB, Bakeman R. The Communication Play Protocol: capturing variations in language development. Perspect ASHA Spec Interest Groups. 2016;1(12):164–71. doi: 10.1044/persp1.SIG12.164.
  69. Bryson SE, Zwaigenbaum L, McDermott C, Rombough V, Brian J. The Autism Observation Scale for Infants: scale development and reliability data. J Autism Dev Disord. 2008;38(4):731–8. doi: 10.1007/s10803-007-0440-y.
  70. Young RL, Autism Detection in Early Childhood (ADEC) Manual. ACER Press; 2007.
  71. Nickel RE. The observation of play screener: Home edition. Oregon Health & Science University; 2020.
  72. Miller J. ASD-DIAL: Diagnostic interview and activities — Lifespan, version 2. Children’s Hospital of Philadelphia; 2020.
  73. Kryszak EM, Albright C. How do we adapt in a time of crisis? APA Division 33 Newsletter. 2020;46(1):4.
  74. Alpern G, Boll T, Shearer M. Developmental Profile — Third Edition (DP-3) Torrance, CA: Western Psychological Services; 2007.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Приложение
Скачать (108KB)
Метаданные

© Хайретдинов О.З., Рубакова Л.И., 2023

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
СМИ зарегистрировано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор).
Регистрационный номер и дата принятия решения о регистрации СМИ: серия ПИ № ФС 77 - 78122 от 13.03.2020.


Данный сайт использует cookie-файлы

Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.

О куки-файлах