Технологии устройств Samsung, созданные в Украине: интервью с представителями Samsung R&D Institute Ukraine

Все мы знаем Samsung как мирового производителя потребительской электроники. Но мало кто задумывается над тем, что кроме устройств компания вкладывается в разработку программного обеспечения и имеет несколько R&D-центров в мире. Один из таких офисов под названием Samsung R&D Institute Ukraine уже много лет работает в Украине и создает программные продукты (а также делает много исследований), которые используются во всем мире. Эти разработки касаются широкого спектра применений и используют современные технологии - от распознавания рукописного ввода и использования искусственного интеллекта до компьютерного зрения, кибербезопасности, виртуальной и расширенной реальности. Редакция gg задала несколько вопросов работникам Samsung R&D Institute Ukraine о вкладе украинских работников в продукты, которыми мы пользуемся ежедневно, и их видение ближайшего будущего этих технологий.

Все фото и иллюстрации предоставлены пресс-службой Samsung Electronics в Украине.

Редакция gg: Зачем вообще Samsung собственная разработка приложений для смартфонов?

Юрий Безнощенко: Samsung разрабатывает собственные приложения и службы для Android по нескольким причинам:

• во-первых, чтобы отличить собственные продукты от других с целью предложить уникальные функции и пользовательский опыт. Например, усовершенствованные функции камеры в смартфонах, вроде Nightography или использование функций рукописного ввода и распознавания информации с помощью S-Pen. Ведь при разработке собственных продуктов Samsung может качественно адаптировать приложения с аппаратной частью, что гарантирует более согласованное взаимодействие с пользователем и ускоренную работу.
• второй причиной является возможность контролировать интерфейс и функции для пользователей, предлагать постоянные усовершенствования или альтернативы уже существующим программам и службам, ведь Samsung, как производитель чипов разрабатывает свои решения на опережение конкурентов.
• еще одна причина - это стратегическое решение монетизации за счет продажи программ, подписок на сервисы и реклама. Также следует не забывать, что некоторые страны не имеют доступа к Google App Store (например, Китай) и предложение своей альтернативы является удачным коммерческим шагом, который будет популяризировать продукты Samsung на этом рынке.

Редакция gg: Пользуются ли потребители этими продуктами? Какое приложение используют чаще всего?

Сергей Литвиненко: По статистике и сценариям использования. Точные статистики - это коммерческая тайна, но можем с уверенностью сказать, что количество сценариев практического применения AR Emoji существенно возросло. Приведем несколько примеров:

AR Emoji Camera & Editor - предоставляют возможность создать персонализированный аватар и стилизовать его по вашему желанию. Также, благодаря партнерству с известными контент-провайдерами вы можете одеть вашего аватара в брендовые вещи.

Создание персонализированного аватара (AR Emoji Camera & Editor)

AR Emoji Stickers - это приложение дает возможность создавать уникальные анимированные 2D-стикеры в виде GIF файлов, которые можно использовать в любом мессенджере: В последнее время мы наблюдаем популярность использования AR Emoji именно в таком виде.

Создание AR Emoji Stickers на смартфоне

Lock Screens, Wallpapers, Watch Faces - сегодня AR Emoji стали доступны на телефонах, смарт-часах и телевизорах Samsung, что позволяет создавать уникальные заставки, обои и персонализировать главные экраны ваших устройств.

Персонализация собственных устройств с помощью AR Emoji

Теперь несколько слов о продуктивных сценариях использования, имеющих целью решить некоторые проблемы приватности и инклюзивности. Во время ковида и стремительного увеличения использования видеокоммуникационных сервисов, AR Emoji в некоторых регионах были доступны эксклюзивно в приложении Google Duo, что позволяли использовать AR Emoji маски для людей, которые не любят включать камеры во время встреч. Есть уверенность в том, что такой сценарий применения аватаров будет увеличиваться. Кроме того, мы очень заботимся об инклюзивности при использовании наших продуктов, поэтому в прошлом году аватары стали доступны на телевизорах Samsung как Sign Language Avatar (аватар-сурдопереводчик), что существенно облегчает использование телевизоров людям с определенными недостатками слуха.

Редакция gg: Какие потребности потребителей решают эмодзи AR и существуют ли эти потребности на самом деле?

Сергей Литвиненко: Да, действительно AR Emoji не получили такой популярности применения как смайлы, но мы уверены, что это только начало и много изменений впереди. Сегодня мы открыты для тесного сотрудничества с разработчиками, которые имеют уникальные идеи применения аватаров. Сегодня для разработчиков доступна AR Emoji SDK, что позволяет использовать AR Emoji в сторонних приложениях. Так что присоединяйтесь!

Редакция gg: Для чего был создан Game Launcher и чем он может быть полезен для геймера, кроме записи скринкаста? Или это его единственная полезная функция?

Сергей Литвиненко: Первоначально, цель Game Launcher была "организовать" игровое пространство на вашем телефоне. На сегодня функции Game Launcher гораздо шире, чем просто агрегация игровых приложений и их запуск, поэтому недавно сделали ребрендинг Game Launcher и он получил новое название - Samsung Gaming Hub.

Gaming Hub

Очевидным фактом является то, что за последние годы мобильный гейминг приобрел бешеную популярность и продолжает стремительно расти.

Телефоны существенно потеснили гейминг на ПК и могут смело конкурировать с игровыми консолями за счет своей мобильности и времени, которое люди проводят вне дома. Так что же умеет Gaming Hub?

• Во-первых, Gaming Hub собирает все игровые приложения в едином пространстве, что позволяет навести порядок на вашем телефоне. Кроме того, Gaming Hub позволяет собрать воедино все уведомления, поступающие из игр, что, с одной стороны, дает возможность не отрываться на игры в общем списке уведомлений, или наоборот - сосредоточиться только на играх, чтобы не пропустить следующий турнир, например.
• Во-вторых, нативная интеграция с Discord позволяет просто и удобно наслаждаться своими любимыми играми, делать стримы и одновременно общаться текстом и голосом с Discord-комьюнити.
• Кроме того, сейчас прослеживается тенденция и широкая популярность "one tap" & "time killer" игр, которые очень часто используются в общественном транспорте, при ожидании в очередях и тому подобное. Для таких случаев Gaming Hub позволяет играть в игры без установки - коллекция Instant Games (не требующие установки), доступная на главном экране Gaming Hub.

В заключение, Gaming Hub делает качественные персонализированные подборки игр по категориям, а также имеет широкий набор плагинов (Game Plugins), позволяющих настроить игровую среду именно для ваших нужд, например:

• Game Booster Plus (повысить производительность и быстродействие в играх с фотореалистичной графикой или играть в режиме энергосбережения батареи).
• Game Clock - напомнит вам вернуться к вашей любимой игре в нужное время.
• Gif Creator - позволит создать анимированные картинки непосредственно из игр.
• Priority Mode - позволит не отрываться на уведомления или звонки во время ожесточенного турнира.

Game Plugins в Gaming Hub

Попробуйте Gaming Hub для себя и наслаждайтесь своими любимыми играми вместе с Galaxy.

Редакция gg: Как Ray tracing влияет на энергопотребление смартфона? Какие минимальные требования к процессору и когда мы увидим технологию на смартфонах среднего уровня и увидим ли вообще?

Сергей Литвиненко: Стремительная эволюция мобильных процессоров и видеокарт открывает совершенно новые возможности игровой индустрии на мобильных телефонах. Одним из ярких примеров является технология Ray Tracing (трассировка лучей), которая впервые была представлена для платформы Android в Samsung Galaxy S23.

Технология Ray Tracing позволяет получить новый уровень компьютерной графики - натуральное освещение, отражение света и тени - мимикрируя таким образом физические процессы, как это происходит в реальном мире. Следует заметить, что технология Ray Tracing требует очень больших вычислительных ресурсов, поэтому ее адаптация для мобильных устройств была сложной. Все это стало возможным путем плодотворной и кропотливой работы HW & SW разработчиков мобильных чипов, тесном сотрудничестве с ключевыми игроками гейм индустрии, вроде Epic Games & Activision Blizzard, а также сотрудничества с мировыми игровыми студиями.

Визуальный пример работы технологии Ray Tracing (RT)

Технология Ray Tracing в телефонах Galaxy появилась не просто так. В течение последнего десятилетия Samsung инвестировала много усилий и ресурсов в развитие гейминг экосистемы и оптимизации компьютерной графики для продуктов Galaxy. В 2016 году Samsung первым внедрил новый открытый графический стандарт Vulkan API. За это время, без преувеличений, мы получили неоценимый опыт и сформировали одну из топовых команд компьютерной графики в мире. Поэтому, когда появилось окно возможностей HW & SW инноваций - мы были готовы к внедрению Ray Tracing. Бесспорно, это стало возможно благодаря тесному и плодотворному сотрудничеству с мировыми игроками на рынке мобильных чипсетов, производителями графических движков.

На сегодня, Ray Tracing доступен на премиальных телефонах Samsung, начиная с Galaxy S22, оборудованных самыми современными мобильными чипсетами, таким как Exynos 2200 или Snapdragon 8 Gen 2, которые поддерживают GPU XClipse 920 и Adreno 740 соответственно.

Относительно энергопотребления, конечно Ray Tracing требует дополнительных затрат и вычислений, но взамен потребитель получает продукт совсем другого качества. С другой стороны, при правильном подходе в его использовании - мы имеем возможность найти рациональный баланс между качеством и потреблением. Поэтому активно исследуем гибридные подходы, при которых Ray Tracing применяется только к определенным частям 3D контента, имеющим наибольший визуальный эффект для конечного пользователя.

По распространению технологии на смартфоны среднего уровня, если коротко - то это вопрос времени. Конкретных названий компаний и игр, с которыми сотрудничаем, по объективным (контрактным) причинам мы вам сообщить не можем, но совсем скоро вы все сами увидите. Ждать недолго!

Редакция gg: Технологии распознавания рукописного текста действительно стали мощными, но кто-то действительно видел человека, который постоянно что-то пишет на экране смартфона?

Ольга Радивоненко: С точки зрения интерфейса, клавиатура занимает довольно много места на экране и удобна только для коротких сообщений. Интерфейс с пером освобождает почти половину экрана, к тому же можно менять язык без лишних кликов и рисовать иллюстрации/схемы - больше свободы в записях, нет необходимости подстраиваться под ограничения клавиатуры. Кроме того, приложения учитывают размер экрана и имеют вспомогательные средства, делающие ввод на экранах меньшего размера также комфортным (тот же easy writing pad, который сам может подвинуть увеличенное окно ввода). Очень часто не все можно ввести с клавиатуры, например иллюстрации, эскизы, пометки поверх фото и картинок, графики, математические формулы (если надо их быстро записать). Также не надо забывать о нишевых вещах, таких как использование планшетов художниками, здесь ввод с помощью пера вообще является ключевым, а наличие возможности ввода пером не только для планшетов, но и для смартфонов позволяет брать устройство с собой и рисовать где угодно.

• Защита приватности в биометрических носимых устройствах. В мире, где часы и браслеты могут отслеживать все, от вашего пульса до качества сна, существует значительный риск утечки личных медицинских данных. Разработчики сталкиваются со сложной задачей - обеспечить, чтобы эта чувствительная информация оставалась защищенной. Шифрование и системы аутентификации - это как стены сейфа, охраняющие ваше здоровье от посторонних глаз.
• Точность измерений: ключ к личному здоровью. Для точного мониторинга здоровья каждого индивида, сенсоры в носимых устройствах должны учитывать множество факторов: от цветовой гаммы кожи до физической активности. Умные алгоритмы и машинное обучение приходят на помощь, анализируя и адаптируя эти переменные данные для предоставления точной картины состояния нашего здоровья.
• Стандартизация и регулирование: унификация для надежности. Чтобы носимые устройства могли быть использованы на международном уровне, они должны придерживаться строгих стандартов и пройти одобрение регулирующих органов, таких как FDA (U.S. Food and Drug Administration - Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США - примечание редакции gg) и CE (Европейский сертификат качества). Это гарантирует, что устройства, которые измеряют ваше здоровье, не только безопасны, но и работают правильно, где бы вы их ни использовали.

Редакция gg: Как работают алгоритмы определения пульса, кислорода в крови?

Илья Федорин: Встроенные фотоплетизмографические сенсоры используют светодиоды для проекции света через кожу в кровеносные сосуды. Это позволяет фиксировать количество протекающей крови и ее изменения с каждым ударом сердца.

Фотоплетизмография - это метод измерения объемных изменений в кровеносных сосудах с помощью света, отражаемого или поглощаемого кровяным потоком. Когда свет проходит через кожу и сосуды, количество поглощенного и отраженного света меняется в зависимости от количества крови в сосудах. Эти переменные показатели светового сигнала считываются фотодетектором и анализируются алгоритмами для вычисления пульса. Фотоплетизмографические сенсоры обычно применяют зеленые светодиоды, которые эмитируют фотоны на частотах, оптимальных для проникновения сквозь барьер кожи и взаимодействия с кровяным руслом. Алгоритмы этих устройств тщательно калибруются, чтобы удалять шумы и интерпретировать эти данные в точные метрики сердечного ритма.

Измерение частоты сердечных сокращений с помощью сенсора фотоплетизмографии

Для анализа уровня кислорода в крови (SpO2) часы используют пульсоксиметрические сенсоры, эмитирующие красный и инфракрасный свет. Эти длины волн выбраны не случайно: они имеют разные уровни абсорбции (поглощения) кровью в зависимости от степени насыщения кислородом. Используя разницу в поглощении света двумя формами гемоглобина, современные часы рассчитывают процент кислорода в крови с высокой точностью для портативного устройства.

Датчик ЭКГ (слева) и оптический датчик сердцебиения (справа)

Несмотря на то, что умные часы не могут заменить профессиональное медицинское оборудование, их вклад в мониторинг здоровья и фитнес-тренировки является неоспоримым. Это инженерные разработки, воплощающие в себе философию постоянного совершенствования и интеграции технологий в повседневную жизнь, обеспечивая нам более детальный инсайт в состояние нашего тела и позволяя нам чувствовать больший контроль над собственным здоровьем.

Редакция gg: Какие дальнейшие перспективы новых сенсоров в часах?

Илья Федорин: Сенсоры нового поколения обещают трансформировать сферу личного здоровья и благополучия благодаря непрерывному мониторингу и анализу биометрических данных. Они открывают путь для персонализированной медицины, превентивной диагностики и раннего выявления проблем со здоровьем.

• Биосенсоры нового поколения: революция в личном здоровье. Ученые разрабатывают новейшие биосенсоры, которые могут превзойти сегодняшние методы измерения медицинских показателей. Представьте сенсоры, способные анализировать уровень глюкозы без болезненных уколов или отслеживать гидрацию и стресс через пот. Это открывает двери для новой эры профилактической медицины и личного здоровья.
• Персонализированная медицина: будущее, настроенное на вас. Умные часы будущего будут намного интеллектуальнее. Они смогут не только отслеживать текущее состояние здоровья, но и прогнозировать патологические состояния, позволяя предотвращать болезни. Это настоящий прорыв в личной медицине.
• Интеграция со здравоохранением: помощь врачам. Новое поколение носимых устройств будет подключено напрямую к медицинским системам, предоставляя врачам в реальном времени важные данные о состоянии пациента. Это расширяет возможности для более точного и эффективного лечения.
• Умная адаптация: искусственный интеллект в носимой технике. Искусственный интеллект станет основой для развития носимой техники, обучаясь на огромном количестве данных и настраиваясь на индивидуальные потребности пользователей. Это означает, что ваши часы смогут предвидеть и реагировать на здоровье так же индивидуально, как и вы сами.

Уже нет сомнения, что будущее за носимыми технологиями, которые продолжают преобразовывать наш подход к здоровью и фитнесу. Современные гаджеты, которые мы носим на запястье, поражают своими возможностями, и это только начало. Представим себе умные часы, которые не просто следят за нашим пульсом или количеством пройденных шагов, а выполняют сложные анализы нашего физического состояния, предупреждают об изменении уровня сахара в крови, или же анализируют наш генетический код, чтобы давать советы для улучшения здоровья.

Каждый новый день несет новости о прорывах в точности измерений, об аккумуляторах, которые смогут работать дольше без перезарядки, и о программах, которые учатся понимать наше здоровье и привычки все лучше. И это не фантастика - это научно-технический прогресс, который уже происходит.

Современные технологии открывают перед нами захватывающие возможности. Можем ли мы предвидеть, что однажды наши часы смогут рекомендовать нам не только количество воды, которую надо выпить, но и какие пищевые добавки лучше употреблять, исходя из нашей активности и текущего состояния здоровья? Или даже соединяться прямо с врачом, передавая важные медицинские данные в режиме реального времени? Это уже не просто возможности, а реальные перспективы, над которыми работают разработчики и ученые по всему миру.

Наблюдая за этими инновациями, мы не можем не восхищаться тем, как они изменят нашу жизнь. С каждым шагом вперед в этой области, мы делаем здоровый образ жизни более доступным и приятным для каждого человека, решившего надеть эти маленькие, но чрезвычайно умные устройства.

Редакция gg: Каков был вклад именно SR Ukraine в эволюцию умных гаджетов для здоровья

Илья Федорин: Работа подразделения включает серию научных статей, проектов, патентов и коммерчески доступных решений, которые способствуют достижению лучшего здоровья. От умных часов, которые мониторят сердечный ритм во время интенсивных упражнений, до систем, которые помогают людям понять и управлять своим сном, многообразие инновационных разработок открывает путь к более здоровому будущему.

Технологический прогресс подразделения в этой области базируется на использовании нейронных сетей для мониторинга сердечного ритма в реальном времени и разработке алгоритмов, которые классифицируют физиологические параметры через фотоплетизмографию (PPG) и акселерометрию. Значительным нововведением являются умные будильники, основанные на анализе и прогнозировании фаз сна, а также системы оценки дыхательных функций и сердечного ритма, интегрированные в современные умные часы.

Коммерческие решения подразделения включают алгоритмы для классификации фаз сна и мониторинга сердцебиения во время интенсивных физических нагрузок, реализованные в потребительских умных устройствах. Такие инновации позволяют пользователям не только получать ценную информацию о собственном физическом состоянии, но и эффективно управлять тренировками и отдыхом.

Исследования подразделения также охватывают применение радарных сигналов, интегрированных в новейшие модели премиум-смартфонов, для мониторинга сна, сердечного ритма и дыхания, что указывает на большой потенциал радарной технологии как дополнения к оптическим методам. Однако, главный акцент остается на расширении функционала и популяризации умных часов как незаменимых ассистентов в поддержании здорового образа жизни.

Патентованный портфель включает инновации в сфере непрерывного мониторинга физиологических показателей, а также методы, использующие радарные системы. Эти достижения подчеркивают значимую роль компании в развитии технологий для здоровья и благополучия.

В совокупности, эти разработки оказывают значительное влияние не только на технологическое сообщество, но и на конечных пользователей, которым теперь доступны продвинутые инструменты самомониторинга и индивидуализированная информация о состоянии их здоровья.

Для тех, кто хочет знать больше

• "Через 10-12 лет 90% геймеров перейдет в облачный гейминг": интервью с командой Boosteroid
• Профессии будущего: аналитик Big Data, рассказывает Сергей Бориславский (Vodafone Украина)
• "Bitcoin - это новое, цифровое золото": интервью с Сергеем Базановым, автором книги "Биткоин для всех"
• Профессии будущего: комментатор (медиаталант) киберспортивных соревнований Алексей "уХо" Малецкий (WePlay)
• Развеять розовые мечты о легкой работе в геймдеве: о чем книга Джейсона Шраера "Нажми Reset"