Выпуск-04-02
В статье представлены результаты разработки специализированного аппаратно-программного комплекса (АПК), выполненного специалистами ООО «НЦПР» в рамках мероприятий Национальной технологической инициативы для формирования научно-технического и технологического задела проекта-маяка в сфере персональных медицинских помощников для людей с сахарным диабетом. Вышеуказанный АПК создан на базе отечественной платформы бесконтактных серсивов с применением искусственного интеллекта «Нейроникс». Его функциональным оператором в рамках пилотирования Проекта в Республике Татарстан является ГАУЗ «Казанский эндокринологический диспансер» (КЭД).
Общие сведения
Отечественная платформа бесконтактных сервисов «Нейроникс» была разработана специалистами ООО «НЦПР» по заказу ФГАУ «Ресурсный центр универсального дизайна и реабилитационных технологий» (www.rcud-rt.ru). Его основой стал первый отечественный аппартано-программный комплекс, имеющий в своем составе одноименный терминал бесконтактной диагностики воспалительных заболеваний дыхательных путей и острых респираторных вирусных инфекций (ОРВИ), включая астму, туберкулез, коклюш и COVID-19, сопряженный с нейросетью.
В базовый комплект платформы «Нейроникс» для диагностики ОРВИ включены функции распознавания лиц заранее известных или зарегистрированных пациентов, дистанционного измерения температуры с высокой точностью и диагностики острых респираторных вирусных инфекций, включая астму, туберкулез, коклюш и COVID-19, в реальном времени.
Скрининг респираторных заболеваний основан на анализе акустических аномалий дыхания и кашля с использованием нейронной сети. Аудиоданные конвертируются в спектрограмму путем разложения аудиопотока на спектр с применением оконного преобразования Фурье. Преобразованные данные переводятся в промежуточный формат для унификации работы с другими данными, имеющими различное происхождение и структуру. Далее применяется энкодер на базе сверточной нейронной сети и механизм внимания с последующими линейными слоями. Энкодер сжимает спектрограммы, а механизм внимания определяет информацию, необходимую для диагностирования заболевания. Окончательная обработка данных и диагностика заболевания производятся централизованно, средствами нейоросети.
Терминал «Нейроникс» имеет соответствующие проводные и беспроводные интерфейсы, обеспечиващие его сопряжение с локальной вычислительной сетью, информационной сетью Интернет и подключение к нему различных исполнительных устройств.
В базовой версии «Нейроникс» включает три основных приложения:
распознавание лиц и встроенную базу пользователей до 100 тысяч записей с фото и персональными данными;
измерение температуры с точностью 0,5 градуса Цельсия;
диагностику первичных признаков респираторных заболеваний по дыханию или кашлю.
Работа базовых приложений сопровождается голосовым ассистентом, озвучивающим на русском или английском языках все события, а также воспринимающим голосовые команды управления, что позволяет реализовать работу терминала в полностью бесконтактном режиме и использовать его в телемедицине.
Сегодня диабет признан наиболее распространенным хроническим заболеванием, из-за ряда осложнений которого он является одним из самых смертоносных заболеваний в мире. Сахарный диабет представляет собой гетерогенную группу метаболических заболеваний и является реальной проблемой общественного здравоохранения во всем мире1. Он затрагивает около 463 миллионов человек, или около 4% населения мира, и ожидается, что к 2025 году количество заболевших увеличится на 5,4% (по данным Международной диабетической федерации). На его долю приходится 9% общей смертности — ежегодно от сахарного диабета погибает около четырех миллионов человек.
Раннее выявление диабета очень важно для его быстрого лечения, поскольку оно может остановить прогрессирование заболевания. Рассматриваемая разработка, как платформенное решение, помогает предсказать возникновение диабета и характер протекания болезни.
АПК «Нейроникс Про»
По заказу ФГБУ «Фонд содействия развитию малых форм предприятий в научно-технической сфере» (www.fasie.ru) специалистами ООО «НЦПР» на основе платформы для бесконтактных сервисов на базе искусственного интеллекта «Нейроникс» выполнена научно-исследовательская и опытно-конструкторская работа (НИОКР) по созданию АПК «Нейроникс Про», реализующего функции персонального медицинского помощника (ПМП) в лечении сахарного диабета.
Прототип АПК «Нейроникс Про».
АПК «Нейроникс Про» является платформенным решением, интегрирующим разнородные телемедицинские системы, для диагностики и мониторинга состояния здоровья пациентов, больных сахарным диабетом. Конечной целью НИОКР стала интеграция отдельных систем единого телемедицинского проекта ПМП.
На первом этапе был разработан и изготовлен макетный образец аппаратно-программного комплекса «Нейроникс», реализующего функции персонального медицинского помощника и обеспечивающего сбор важных параметров пациентов, таких как уровень глюкозы в крови, артериальное давление и ЭКГ. На данном этапе с использованием средств платформы «Нейроникс» были разработаны:
аппаратные компоненты макетного образца АПК, обеспечивающие сбор данных об уровне глюкозы в крови, артериальном давлении и регистрацию электрокардиограммы (ЭКГ);
внутреннее программное обеспечение для каждого аппаратного компонента (глюкометра, тонометра, термометра, аппарата ЭКГ);
мобильных приложений, обеспечивающих взаимодействие отдельных компонентов АПК с облачным сервисом;
облачного сервиса АПК с нейронной сетью для отслеживания критических показателей и прогнозирования динамики состояний пациентов;
программной и аппаратной оснастки, обеспечивающей бесперебойную работу макета АПК на пилотных площадках.
В рамках работ первого этапа был разработан и запущен сайт для обеспечения работы личного кабинета, позволяющего удаленно вводить и производить мониторинг данных о состоянии здоровья добровольцев, участвовавших в тестировании макетного образца, согласована дорожная карта проекта с пилотной площадкой. В дальнейшем был разработан и изготовлен опытный образец АПК «Нейроникс Про», модернизировано первоначально разработанное ПО облачного сервиса АПК с нейронной сетью для отслеживания критических показателей и прогнозирования динамики состояний пациентов, доработан сайт для обеспечения работы личного кабинета (ЛК), позволяющего удаленно вводить и отображать данные о состоянии здоровья пациентов, проведены испытания опытного образца АПК на пилотной площадке.
Поскольку АПК «Нейроникс» является платформенным решением, интегрирующим отдельные телемедицинские системы для диагностики и мониторинга состояния здоровья людей с сахарным диабетом, он может использоваться как в лечебно-профилактических учреждениях (ЛПУ), так и в фельдшерско-амбулаторных пунктах (ФАП).
Реализованные дополнительные технические решения позволили расширить первоначальную концепцию применения АПК «Нейроникс Про» и обеспечить использование изделия для работы в условиях удаленной местности, где отсутствует врачебный (высший) медицинский персонал, а количество среднего медицинского персонала ограничено, например, когда один ФАП обслуживает несколько населенных пунктов. В таких условиях АПК «Нейроникс Про» позволяет частично заменить врача, автономно проводя первичный осмотр или периодическую диспансеризацию пациентов, а также обеспечивать проведение телемедицинских консультаций. Для организации такой работы требуется предварительная регистрация пациентов, что делается местными фельдшерами без привлечения квалифицированных специалистов. После регистрации АПК «Нейроникс Про» с помощью встроенных средств распознавания лиц регистрирует визит пациента и обеспечивает первичную диагностику без привлечения врача.
Информация об основных технических характеристиках терминала «Нейроникс Про» представлена в Таблице 1.
Основные технические характеристики терминала «Нейроникс Про».
| № | Характеристика |  |
|---|---|---|
| 1. | Процессор | Rockchip RK3399 с двухъядерным Cortex-A72 и четырехъядерным Cortex-A53 1,8 ГГц |
| 2. | Графический сопроцессор | Mali-T860MP4 |
| 3. | ОЗУ, Гб | 2, LPDDR4 3200 Мбит/с |
| 4. | Флэш-память, Гб | 16, EMMC |
| 5. | Операцинная система | Android 7.0 и выше |
| 6. | Камера | 200 MP, HDR, RGB + ИК, двойной и инфракрасный заполняющий свет |
| 7. | Размер экрана, дюймов | 8, полноразмерный IPS жидкокристаллический |
| 8. | Разрешение экрана, пикселей | 1200 x 800 |
| 9. | Сенсорная панель | Многоточечная емкостная |
| 10. | Подсветка | Инфракрасная, дополнительный белый светодиодный светильник |
| 11. | Беспроводный интерфейс | Wi-Fi 802.11 b/g/n |
| 12. | Проводные интерфейсы | - Ethernet 10/100 стандартный разъем RJ-45; - USB Host |
| 13. | Степень защиты | IP54 |
| 14. | Время распознавания, мс | не более 20 |
| 15. | Точность распознавания, % | не хуже 99,7 |
| 16. | Измеритель температуры | Тепловизионный датчик MELEXIS MLX90640 |
| 17. | Точность измерения температуры, °С | ± 0,5 |
| 18. | Емкость встроенной памяти, типовых записей | 100 000 |
| 19. | Обнаружение движения | Поддерживается с помощью радара |
| 20. | Защита от перенапряжения | Есть |
| 21. | Часы реального времени | Есть |
| 22. | Таймер включения и выключения | Есть |
| 23. | Управление дверями или турникетами | Есть |
| 24. | Поддержка карт памяти | Есть |
| 25. | Напряжение питания, В | 12 |
| 26. | Ток потребления, А | 3 |
| 27. | Диапазон рабочих температур, °С | от -40 до + 70 |
| 28. | Габаритные размеры, мм | 275,5 х 123,6 х 23,2 |
| 29. | Масса, кг | 2,6 |
Технические возможности платформы «Нейроникс» позволяют успешно использовать ее для обработки разнородных данных, поступающих от медицинских приборов различного назначения, с целью решения задачи автоматизированного мониторинга состояния здоровья пациентов и выявления предпосылок к возможным осложнениям и рецидивам у больных сахарным диабетом.
Перспективы развития АПК «Нейроникс Про»
В платформе «Нейроникс» реализованы практически все основные физические и программные интерфейсы, что позволяет применять ее для решения широкого круга задач как в сфере медицины, так и в сфере безопасности. Ее функционал значительно превосходит уже реализованный в АПК «Нейроникс Про», что обеспечивает последнему достаточно широкий потенциал для модернизации и совершенствования в процессе эксплуатации. В настоящее время в качестве основных направлений для дальнейшего развития определены следующие:
создание мобильного варианта АПК «Нейроникс Про», который мог бы использоваться специалистами бригад скорой медицинской помощи при выездах по вызовам и в процессе планового повышения квалификации на рабочих местах;
разработка индивидуального электронного помощника АПК «Нейроникс Про», обеспечивающего автоматизацию сбора и хранения данных о состоянии здоровья пациентов, а также безопасного удаленного обмена информацией с облачным сервисом АПК «Нейроникс Про».
Выполнение работ по двум вышеуказанным направлениям позволит упростить процедуру эксплуатации АПК «Нейроникс Про» и повысить эффективность его работы.
Мобильный вариант АПК «Нейроникс Про»
Разработка мобильного варианта АПК «Нейроникс Про» практически сводится к адаптации имеющегося устройства к использованию в условиях применения. Незначительные габаритные размеры собственно терминала позволяют встраивать его в типовой пластиковый противоударный чемодан, используемый бригадами скорой медицинской помощи в настоящее время. Общий вид основной печатной платы АПК «Нейроникс Про» представлен на рис. 2.
Основная печатная плата АПК «Нейроникс Про»
При размещении внутри чемодана обеспечивается сопряжение АПК «Нейроникс Про» с группой медицинских приборов, используемых бригадой скорой медицинской помощи. В этом случае встроенные беспроводные интерфейсы АПК позволяют организовать подключение к широкополосным сетям обмена данными типа IEEE802.11 (WiFi). Кроме того, в мобильном терминале активируется интерфейс GSM/LTE для подключения к сетям сотовой связи общего пользования, реализованный на платформе «Нейроникс». Безопасность подключения обеспечивается встраиваемыми средствами вышеуказанной платформы.
Электропитание мобильного варианта АПК «Нейроникс Про» производится как от промышленной электрической сети, так и от встроенного аккумулятора, подзарядка которого выполняется автоматически при подключении к сети питания переменного или постоянного тока.
Такая реализация позволяет:
повысить оснащенность бригад скорой медицинской помощи современными техническими средствами, упростив их использование за счет интеграции в единый комплекс с простым и понятным интерфейсом;
сократить сроки постановки предварительного диагноза специалистами скорой медицинской помощи за счет оперативного получения более детальной информации о состоянии здоровья пациента;
увеличить точность предварительного диагноза за счет использования средств телемедицины и получения доступа к облачному сервису для автоматической обработки данных средствами нейросети в реальном масштабе времени.
Разработка мобильного варианта АПК «Нейроникс Про» должна быть включена в программу его перспективного развития и выполняться с использованием результатов эксплуатации стационарного комплекса и привлечением специалистов, имеющих соответствующий опыт работы на станциях скорой медицинской помощи.
Индивидуальный электронный помощник АПК «Нейроникс Про»
Индивидуальный электронный помощник представляет собой самостоятельное устройство, позволяющее организовать процесс сбора информации от различных медицинский приборов, ее промежуточное временное или постоянное долгосрочное хранение и надежную передачу в адрес АПК «Нейроникс Про» по различным каналам связи. Индивидуальный электронный помощник предполагается реализовать на базе микро-ПК отечественной разработки.
Общий вид микро-ПК
Микро-ПК представляет собой перспективный микроминиатюрный компьютер с защитой информации, который проектировался и создавался как универсальная защищенная платформа для обработки персональных данных и другой конфиденциальной информации, полностью удовлетворяющая самым жестким российским и международным требованиям к обеспечению безопасности информации. Он является компьютером нового типа, выполненным в форм-факторе USB-флэш, имеющий собственную встроенную систему установки и удаления программ, аутентификации пользователя и защиты от атак злоумышленников и вредоносных программ-вирусов. Микро-ПК использует современный высокопроизводительный процессор, как и широко представленные на рынке планшетные компьютеры, смартфоны и коммуникаторы, однако, в отличие от них, он не имеет экрана и устройства ввода данных, поскольку с технической точки зрения поддержка экрана и устройства ввода данных отнимает ощутимую долю производительности процессора во время выполнения сложных графических задач. В микро-ПК функции отображения и ввода данных с клавиатуры реализованы иначе, что позволило решить одновременно несколько задач:
освободить процессор от работы с экраном и направить всю его вычислительную мощность на выполнение программ;
добиться максимальной миниатюризации изделия при сохранении вычислительной мощности, соизмеримой с мощностью современного смартфона или планшетного компьютера;
обеспечить беспрецедентную степень защиты данных и программ за счет наличия изолированной памяти для выполнения программ пользователя;
позволить его использование совместно с любыми средствами отображения и ввода данных без модификации встроенного программного обеспечения;
максимально снизить стоимость изделия и технической платформы.
Для решения задач отображения и ввода данных микро-ПК использует любой внешний компьютер-донор, имеющий экран, клавиатуру и мышь со штатными драйверами периферийных устройств или даже обычный современный телевизор с соответствующим интерфейсом. Он подключается к устройству-донору, в качестве которого может выступать и медицинский прибор, через разъем USB и получает от него питание. При подключении микро-ПК распознается как USB-флэш накопитель. На этом накопителе размещены файлы автозапуска autorun.inf для Windows-систем и autorun.sh для Unixсистем. В зависимости от того, какая операционная система установлена на устройстве-доноре, будет запущен соответствующий файл. Если политика безопасности устройства-донора запрещает автоматический запуск программ со съемных носителей, соответствующий файл автозапуска микро-ПК может быть выполнен в ручном режиме. Файл автозапуска загружает соответствующий вариант программы Launcher, который настраивает соединение между микро-ПК и устройством-донором, после чего микро-ПК начинает восприниматься последним как обычная сетевая карта. При подключению к устройству, имеющему средства отображения, Launcher перенаправляет графическую информацию из микро-ПК в окна, создаваемые на его экране, а в собственном окне отображает кнопки управления (иконки), позволяющие запускать приложения микро-ПК. При нажатии на кнопки запускается соответствующее выбранное приложение, для которого на экране компьютера-донора создается отдельное окно. Таким образом, за счет средств ввода-вывода компьютера-донора обеспечивается полноценная работа пользователя с приложениями микро-ПК.
Для завершения работы с микро-ПК достаточно отключить его от компьютера-донора. В момент отключения микро-ПК пропадает напряжение питания, но это не вызывает потерю несохраненных данных, так как последний имеет встроенный аккумулятор, обеспечивающий штатное завершение работы. После переключения на аккумуляторное питание в микро-ПК завершаются все ранее запущенные приложения и сохраняются все ранее открытые документы. Процедура завершения работы занимает всего несколько секунд, что не требует частого заряда аккумулятора, который производится автоматически при подключении к устройству-донору. Микро-ПК имеет жидкокристаллический индикатор, отображающий текущее состояние. Во время запуска и завершения работы индикатор отображает соответствующую информацию: «Загрузка» или «Завершение работы». В процессе работы на индикатор выводится информация о запущенных приложениях, имеющемся свободном дисковом пространстве, уровне заряда аккумулятора и другие справочные данные. Микро-ПК может оснащаться дополнительными встроенными компонентами, включая разъем для карты памяти микро-SD, 3G или LTE модем, USB разъем для подключения внешних устройств, модуль WiFi/Bluetooth, микрофон.
Основу защиты микро-ПК от внешних атак составляет собственная система установки/удаления программ и идентификации пользователя. Он не может быть заражен вирусами или хакерскими эксплойт-программами, поскольку такие программы не могут быть выполнены в памяти микро-ПК из-за применения следующих технических решений:
дисковое пространство изделия может быть зашифровано;
система установки и удаления программ модифицирована таким образом, что в памяти может быть установлена и выполнена только та программа, которая была предварительно зашифрована соответствующим уникальным ключом, подходящим только для данного изделия;
ключ хранится во встроенном электронном идентификаторе Rutoken с формированием электронной цифровой подписи, который на сегодня признан не вскрываемым;
обмен любыми данными и программами с внешними источниками осуществляется в зашифрованном виде;
при обмене с внешними источниками ключ шифрования не передается в канале обмена данными;
аппаратная платформа изделия не содержит консольных или отладочных портов для перехвата управления;
программная платформа изделия не включает поддержку консольных или отладочных портов, которые могли бы обеспечить проникновение или перехват управления.
Реализованные в микро-ПК инновационные технические решения позволяют с уверенностью утверждать следующее:
демонтаж компонентов изделия не позволяет свободно считать содержимое флэш-памяти из-за наличия шифрования;
преднамеренный взлом защиты самим пользователем индивидуального изделия не влияет на безопасность других компьютеров и не позволяет выработать общий метод взлома;
с помощью изделия можно установить безопасное соединение для обмена данными по любому открытому каналу связи из любого не доверенного места.
Подобная степень защиты данных и программ открывает позволяет создать на его основе индивидуальный электронный помощник для АПК «Нейроникс Про», позволяющий поддержать следующие алгоритмы применения при взаимодействии с медицинским прибором (последовательном подключении к группе медицинских приборов):
микро-ПК подключается к медицинскому прибору, регистрирует его показания и хранит их во встроенной памяти. При физическом подключении к терминалу АПК «Нейроникс Про» (например, во время посещения пациентом медицинского учреждения) он автоматически отдает зарегистрированную информацию и принимает соответствующие данные (например, рекомендации по приему лекарств) с терминала. Вся хранящаяся в памяти микро-ПК информация может отображаться на устройстве-доноре, оснащенном средствами отображения (включая телевизор или смартфон);
микро-ПК подключается к медицинскому прибору, регистрирует его показания ив оперативном режиме передает их в АПК «Нейроникс Про». При этом данные могут передаваться «обезличенно», с привязкой к условному идентификационному номеру, известному только облачному приложению, что обеспечивает дополнительную защиту.
Использование индивидуального электронного помощника позволяет существенно упростить функционирование всего комплекса и, в первую очередь, действия самого пациента, повысив при этом его надёжность за счет исключения ошибок при передаче показаний медицинского прибора.
ВЫВОДЫ:
Российскими специалистами выполнена разработка первого прикладного аппаратно-программного комплекса «Нейроникс Про», предназначенного для использования в качесвте персонального медицинского помощника при лечении сахарного диабета.
АПК «Нейроникс Про» использует технические возможности платформы для бесконтактных сервисов на основе искусственного интеллекта «Нейроникс», что позволяет интегрировать его в состав различных автоматизированных систем в области медицины и безопасности.