В промышленности весьма востребованной является автоматизация процессов с помощью роботов-манипуляторов. Применяемым в настоящее время технологиям управления манипуляторами на основе традиционных интерфейсов, маркерного захвата движения или распознавания голоса и мимики присущи такие недостатки, как отсутствие интуитивности и удобства работы, необходимость использования дополнительного оборудования, сложность и высокая стоимость решений. Разработка способа управления роботом-манипулятором, основанного на активном отслеживании и адаптивном распознавании жестов, на запоминании траектории, скорости и ориентации рабочего инструмента робота, с учетом недостатков существующих технологий – принципиально важная задача. В работе предложен способ бесконтактного управления роботом-манипулятором на основе дальностного изображения кисти руки, полученного с камеры глубины. На основании облака точек построена трехмерная модель кисти руки, вычислены трехмерные координаты точек модели скелета кисти руки, определено расстояние между рабочими пальцами схвата и его ориентация. Полученные параметры передаются в систему управления роботом-манипулятором. Показано, что способ предполагает обучение алгоритма распознавания жестов и сохранение в памяти системы управления жестов, соответствующих активации и деактивации режима обучения движениям, а также включению режима автономной работы робота-манипулятора. На основе данного способа возможно решение задачи автоматизации процесса открытия/закрытия вентильной задвижки труб, укладки углеводородистых трубок и сборки тепловыделяющих элементов в безлюдных производствах.
Кульминский Данил Дмитриевич
Научно-технологический университет «Сириус», Россия, 354349, Краснодарский край, пгт Сириус, Олимпийский пр-т, 1
Шипатов Евгений Андреевич
Научно-технологический университет «Сириус», Россия, 354349, Краснодарский край, пгт Сириус, Олимпийский пр-т, 1; Национальный исследовательский университет «МИЭТ», Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1
Сотников Александр Васильевич
Научно-технологический университет «Сириус», Россия, 354349, Краснодарский край, пгт Сириус, Олимпийский пр-т, 1; Национальный исследовательский университет «МИЭТ», Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1
Шипатов Андрей Владимирович
Научно-технологический университет «Сириус», Россия, 354349, Краснодарский край, пгт Сириус, Олимпийский пр-т, 1; Национальный исследовательский университет «МИЭТ», Россия, 124498, г. Москва, г. Зеленоград, пл. Шокина, 1
1. Li Y., Lou J., Cai Z., Zheng P., Wu H., Wang X. An interactive gesture control system for collaborative manipulator based on Leap Motion Controller. Adv. Mech. Eng. 2024;16(5). https://doi.org/10.1177/16878132241253101
2. Naeem B., Kareem W., Saeed-Ul-Hassan, Naeem N., Naeem R. Voice controlled humanoid robot. Int. J. Intell. Robot Appl. 2024;8:61–75. https://doi.org/10.1007/s41315-023-00304-z
3. Keselman L., Woodfill J. I., Grunnet-Jepsen A., Bhowmik A. Intel RealSense stereoscopic depth cameras. arXiv.org. 16.05.2017. Available at: https://arxiv.org/abs/1705.05548 (accessed: 18.03.2025). https://doi.org/10.48550/arXiv.1705.05548
4. Melax S., Keselman L., Orsten S. Dynamics based 3D skeletal hand tracking. In: Proceedings of the ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games (I3D ’13). New York: ACM; 2013, pp. 63–70. https://doi.org/10.1145/2448196.2448232
5. Zhang J., Yao Y., Deng B. Fast and robust iterative closest point. IEEE Transactions Pattern Anal. Mach. Intell. 2022;44(7):3450–3466. https://doi.org/10.1109/TPAMI.2021.3054619
6. Qian C., Sun X., Wei Y., Tang X., Sun J. Realtime and robust hand tracking from depth. In: 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH: IEEE; 2014, pp. 1106–1113. https://doi.org/10.1109/CVPR.2014.145
7. Featherstone R., Orin D. E. Dynamics. In: Springer Handbook of Robotics. Eds B. Siciliano, O. Khatib. Cham: Springer; 2016, pp. 37–66. https://doi.org/10.1007/978-3-319-32552-1_3
8. Externally Guided Motion RW6: application manual. ABB Library. Available at: https://library.abb.com/d/3HAC073319-001 (accessed: 27.02.2025).
9. Соколов В. С., Кульминский Д. Д. Прототип робастной системы сборки резьбового соединения на базе робота-манипулятора методами силомоментного управления. Робототехника и техническая кибернетика. 2024;12(4):296–304. https://doi.org/10.31776/RTCJ.12407. EDN: EKCAHF.
Sokolov V. S., Kulminskiy D. D. Prototype of a robust screw-thread assembly system based on industrial manipulator using force-torque control methods. Robototekhnika i tekhnicheskaya kibernetika = Robotics and Technical Cybernetics. 2024;12(4):296–304. (In Russ.). https://doi.org/10.31776/RTCJ.12407
10. Protocol Buffers. Available at: https://protobuf.dev/ (accessed: 21.11.2025).