La unidad de medición inercial (IMU), que incluye acelerómetros, giroscopios y magnetómetros, puede recopilar en tiempo real datos de aceleración y velocidad angular de movimientos articulares con una frecuencia de actualización de más de 1000Hz. Proporciona parámetros de movimiento dinámico para la estimación de la posición de la muñeca y ayuda a los datos visuales a completar la calibración de coordenadas espaciales. El codificador instalado en el servomotor del robot calcula el desplazamiento de la articulación registrando el ángulo de rotación del motor, con una precisión de menos de 0,1 °, que puede rastrear con precisión la trayectoria de movimiento de la muñeca y el brazo, proporcionando una referencia de coordenadas precisa del movimiento de las extremidades para la conversión de perspectiva. En algunas aplicaciones de gama alta, también se integra un módulo VSLAM (Visual Simultaneous Localization and Mapping), que realiza la autolocalización y el modelado ambiental del robot a través de un algoritmo SLAM autodesarrollado, admite la detección de cierre de bucle en tiempo real y localización asistida por anclaje espacial, y mejora aún más la estabilidad de la estimación de la posición de la muñeca en entornos complejos.
La tecnología de la “Wrist World” debe procesar ingentes cantidades de datos visuales y sensoriales, lo que impone exigencias estrictas en cuanto a la velocidad de cómputo y la eficiencia de la transmisión de datos. La unidad de computación de borde adopta un SOC (Sistema en chip) de alto rendimiento, integra un motor CNN (Red neuronal convolucional) independiente y puede realizar un procesamiento de datos localizado en tiempo real para evitar problemas de demora causados por la transmisión en la nube. Esta unidad admite computación paralela de subprocesos múltiples, que puede procesar múltiples flujos de video y datos de sensores simultáneamente, completar el preprocesamiento de imágenes, la extracción de características y las operaciones de conversión de perspectiva, asegurando que el retraso en la generación de la imagen en primera persona se controle a nivel de milisegundos. La interfaz de comunicación de alta velocidad conecta cada componente a la unidad informática a través de conectores de interfaz USB tipo C o Ethernet, que admiten una velocidad de transmisión de datos de no menos de 10Gbps, y es compatible con el marco de desarrollo ROS/ROS2 para garantizar una transmisión eficiente de datos visuales, datos de sensores e instrucciones informáticas. Algunas soluciones integrarán conectores Ethernet industriales para mejorar aún más la capacidad antiinterferente y adaptarse mejor a escenarios de operación de grado industrial.
La operación precisa del robot debe ser completada por componentes ejecutivos, y el efecto de operación depende de la verificación de los componentes de retroalimentación. Como núcleo de la transmisión conjunta, el servomotor tiene una capacidad de control de posición de alta precisión con un tiempo de respuesta de menos de 5ms. Combinado con el codificador, puede realizar un movimiento preciso de la muñeca y el brazo, asegurando la precisión de la ejecución de la acción bajo la guía de la perspectiva en primera persona. El sensor táctil instalado en el extremo de la mano del robot puede recopilar datos táctiles como fuerza de agarre y presión de contacto, que no solo puede retroalimentar el efecto de operación y ayudar al aprendizaje auto-supervisado para optimizar la estrategia de acción, pero también puede proporcionar los datos táctiles-visuales de la correlación de la escena de la operación para la conversión de la perspectiva.
El arnés de cable se divide en arnés de cable de alimentación y arnés de cable de señal. El arnés de cables de alimentación proporciona soporte de potencia de alta corriente para el servomotor para garantizar una potencia estable en trabajos de alta intensidad. El arnés de cables de señal transmite con precisión los datos de retroalimentación de los sensores táctiles y codificadores, con un retardo de transmisión controlado a nivel de microsegundos, proporcionando una garantía de eficiencia para la calibración de bucle cerrado del aprendizaje autosupervisado. Teniendo en cuenta las características de movimiento de alta frecuencia de la articulación de la muñeca del robot, los conectores y los arneses de cables deben tener una flexibilidad y resistencia a la fatiga extremadamente fuertes, y cumplir con los requisitos de miniaturización y diseño antiinterferente para evitar un contacto deficiente durante el movimiento. Su rendimiento afecta directamente el efecto de control del error de conversión de perspectiva de la tecnología Wrist World. Un sistema de conexión de alta calidad puede ayudar a reducir el error de conversión de perspectiva en más del 42,4%, convirtiéndose en un soporte clave para realizar operaciones precisas.
Sistema de software clave: el cerebro central del procesamiento de datos y la toma de decisiones inteligentes
Si los componentes de hardware son los huesos y los músculos de la tecnología Wrist World, entonces el sistema de software es su cerebro central, que completa el procesamiento de datos y la toma de decisiones inteligente a través de la colaboración multimódulo, realizando funciones básicas como la conversión de perspectiva, el aprendizaje autosupervisado y la reconstrucción espacial.
Como la plataforma central para la integración de la información, el sistema de fusión de datos multimodal es responsable de recibir datos de múltiples fuentes, como visión, posicionamiento y postura, eliminando errores de diferentes dispositivos a través de algoritmos de calibración y fusión de datos, y formando un conjunto de datos unificado. En términos de sincronización y calibración de datos, el sistema adopta la tecnología de sincronización de marca de tiempo para unificar los flujos de datos de las cámaras, IMU, codificadores y otros dispositivos en el mismo eje de tiempo, evitando las desviaciones de coordenadas espaciales causadas por el retraso de datos. Al mismo tiempo, corrige la distorsión de la cámara y los errores del sensor a través de algoritmos de calibración para garantizar la consistencia de todos los datos. En el enlace de fusión de datos de múltiples fuentes, se utilizan algoritmos como el filtrado de Kalman y la estimación bayesiana para fusionar la información ambiental de los datos visuales, los datos de movimiento de la IMU y los datos de posición del codificador en un vector de estado espacial unificado, proporcionando datos de entrada completos y precisos para el modelo de mundo 4D.
El sistema modelo del mundo 4D es la base de la tecnología del mundo de la muñeca. Construye un modelo de escena dinámico e interactivo fusionando datos espaciales 3D e información de dimensión de tiempo, que también es la lógica central para realizar la conversión de perspectiva. En términos de reconstrucción espacial 3D, el sistema construye un modelo 3D de la escena de la operación a través de algoritmos de costura y reconstrucción de malla de nubes de puntos basados en los datos de profundidad de cámaras binoculares y sensores TOF, restaurando con precisión el diseño ambiental, la forma 3D del objetivo de la operación, y la relación posicional espacial de las extremidades del robot. El modelado de dimensiones de tiempo integra los datos de movimiento de IMU y codificador para registrar los cambios de series de tiempo de las acciones del robot, construye un modelo de trayectoria de movimiento dinámico, captura el proceso de movimiento completo de la muñeca desde la posición inicial a la posición de operación y proporciona soporte de continuidad de acción dimensional en el tiempo para la conversión de perspectiva. Como enlace clave, el algoritmo de conversión de perspectiva extrae y genera la imagen de operación en primera persona desde la perspectiva de la muñeca a partir de la imagen global en tercera persona mediante el uso de algoritmos de transformación de perspectiva y síntesis de vista basados en el modelo espacial 3D y los datos de trayectoria de movimiento. Al aprender las reglas visuales de la conversión de perspectiva humana, el algoritmo puede compensar automáticamente la información de las áreas ocluidas, asegurando la integridad y la precisión de la imagen en primera persona.
El sistema de aprendizaje auto-supervisado es la clave para que la tecnología Wrist World se deshaga de la dependencia de la anotación manual. Se da cuenta de la optimización autónoma de la estimación de la posición de la muñeca y la precisión de conversión de perspectiva a través de algoritmos incorporados. En el enlace de extracción de características no supervisado, el sistema utiliza modelos de aprendizaje profundo como la red neuronal convolucional (CNN) y el modelo de transformador para extraer automáticamente características clave de una gran cantidad de imágenes en tercera persona no etiquetadas, incluido el contorno de la muñeca, las características del objetivo de operación, la información de textura ambiental, etc. y construye una base de datos de características completa. El mecanismo de calibración de bucle cerrado compara la imagen en primera persona generada con la imagen real recopilada por la cámara local de muñeca, calcula el error de conversión de perspectiva, ajusta los parámetros del modelo de mundo 4D a través del algoritmo de retropropagación y optimiza la precisión de conversión de perspectiva. Al mismo tiempo, combinado con los datos de retroalimentación del sensor táctil, verifica la efectividad de la acción de operación, corrige independientemente el modelo de estimación de la posición de la muñeca y forma un aprendizaje de bucle cerrado de la recopilación de datos-optimización del modelo-mejora de la precisión. Además, el módulo de aprendizaje de transferencia puede transferir la capacidad de conversión de perspectiva aprendida a nuevos escenarios de operación, ajustar rápidamente los parámetros del modelo a través de una pequeña cantidad de datos de adaptación de escena, mejorar la adaptabilidad de escena de la tecnología y reducir el costo de capacitación en nuevos escenarios.
El sistema de control en tiempo real asume la responsabilidad del centro de programación para la ejecución de comandos, que combina la imagen en primera persona después de la conversión en perspectiva con comandos de operación para conducir el robot para completar acciones precisas. En términos de planificación de movimiento, el sistema planifica la trayectoria de movimiento de la muñeca y la mano en función de la posición del objetivo y la información ambiental en la imagen en primera persona, evita los riesgos de colisión y garantiza la fluidez y precisión de las acciones de operación. En el enlace de emisión de comandos y retroalimentación, el sistema convierte los comandos de acción planificados en señales de control del servomotor y los emite en tiempo real, y al mismo tiempo recibe los datos de retroalimentación del codificador y el sensor táctil, ajusta dinámicamente los parámetros de acción, Y se asegura de que la exactitud de la operación cumpla los requisitos esperados.
Mecanismo de enlace entre módulos-Operación técnica coordinada
La operación eficiente de la tecnología de Wrist World se basa en última instancia en la colaboración perfecta entre los componentes de hardware y los sistemas de software, formando un mecanismo de enlace de proceso completo de recopilación-procesamiento-modelado-conversión-ejecución-optimización.
En la etapa de recopilación de datos, las cámaras panorámicas externas y los dispositivos de percepción de profundidad recopilan de forma sincrónica imágenes globales en tercera persona y datos espaciales en 3D. IMU y los codificadores en tiempo real capturan el estado de movimiento y la información de posición de la muñeca del robot. Estos datos de múltiples fuentes se transmiten a la unidad de computación de borde a través de interfaces de comunicación de alta velocidad, y el sistema de fusión de datos multimodal completa la calibración e integración síncrona para proporcionar un conjunto de datos unificado y preciso para el procesamiento posterior.
En la etapa de modelado y conversión, el conjunto de datos integrado se introduce en el sistema de modelo de mundo 4D para construir un modelo de escena dinámico que incluye dimensiones espaciales y de tiempo. Basado en este modelo, el algoritmo de conversión de perspectiva genera una imagen de operación en primera persona combinada con datos de trayectoria de movimiento de muñeca, y al mismo tiempo realiza una calibración preliminar a través de la imagen real recopilada por la cámara local de muñeca para garantizar la precisión de la imagen.
En la etapa de aprendizaje y optimización, el sistema de aprendizaje autosupervisado compara las diferencias entre la imagen generada en primera persona y la imagen real, combina la retroalimentación de la operación del sensor táctil, optimiza de forma independiente el algoritmo de conversión de perspectiva y el modelo de estimación de la posición de la muñeca, y mejora continuamente la precisión de los datos. Todo el proceso no requiere intervención de anotación manual, realizando actualización iterativa autónoma.
Finalmente, en la etapa de ejecución y retroalimentación, el sistema de control en tiempo real planifica comandos de operación precisos basados en la imagen optimizada en primera persona y los emite al servomotor para impulsar el robot para completar acciones como agarrar y voltear. Durante el proceso de ejecución, cada sensor recopila continuamente datos y ajusta dinámicamente los parámetros de acción para garantizar que el efecto de operación cumpla con los requisitos esperados.
La ventaja principal de este mecanismo de enlace es realizar la operación de bucle cerrado de la recopilación de datos-procesamiento inteligente-optimización autónoma-ejecución precisa. No solo resuelve fundamentalmente el cuello de botella de los escasos datos en primera persona, sino que también mejora continuamente la precisión del sistema a través del aprendizaje autosupervisado, proporcionando soporte técnico confiable para robots en campos con requisitos extremadamente altos de precisión de operación, como fabricación de precisión y cirugía médica. Y también la apertura de una nueva dirección para el desarrollo de la tecnología de percepción espacial robot.
