Обычные тени помогают теперь роботам чувствовать всем своим корпусом прикосновения. Система ShadowSense работает при помощи обычной камеры, которая через USB соединяется с портативным ПК. Располагают камеру под полупрозрачной неэлектронной “кожей” робота.
Если потянуться к роботу рукой, то на его коже отбрасываемая тень будет прослежена камерой. Причем регистрация тени происходит с внутренней стороны кожи. В этом процессе задействуется машинное обучение, которое определяет действительное прикосновение рукой. Вместе с тем распознается, какой жест делается рукой, и к какой конкретно области она прикасается.
В итоге ShadowSense способен не просто определять время и место прикосновения, но и может выполнять определенные команды для разных жестов прикосновения.