Estimation de forces par vision dans les robots continus

Vision-based force estimation in continuum robots

• Auteur / Autrice : Matyas Diezinger
• Direction : Guillaume Laurent, Brahim Tamadazte
• Type : Thèse de doctorat
• Discipline(s) : Automatique
• Date : Soutenance le 21/12/2023
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences Physiques pour l'Ingénieur et Microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Franche Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : Site de préparation : Université de Franche-Comté (1971-2024)
• Jury : Président / Présidente : Jérôme Szewczyk
• Jury : Examinateurs / Examinatrices : Benoît Rosa
• Jury : Rapporteurs / Rapporteuses : Jérémie Dequidt, Youcef Mezouar
• DOI : 10.70675/1bdaf058z2f0bz41bazb612z9f49b09721ac

Mots clés

Mots clés contrôlés

Robotique molle

Vision par ordinateur

Mots clés libres

Robot continu

Estimation de pose

Estimation de force

Continuum robot

Pose estimation

Computer vision

Force estimation

Résumé

Dans le domaine de la robotique, la recherche sur les architectures flexibles et continûment déformables est en plein essor. Ces robots continus proposent des solutions adaptées à des domaines tels que la chirurgie, la navigation dans des environnements étroits ou la micromanipulation. Le développement de robots continûment déformables fait cependant face à plusieurs verrous scientifiques majeurs. En effet, la conception, la modélisation, la stabilité et le contrôle de robots déformables sont d'autant plus complexes qu'ils présentent un nombre infini de degrés de libertés et de configurations. Cette thèse propose plusieurs solutions pour améliorer la commande de robots continus en introduisant des techniques extéroceptives d'estimation de pose et de force. Les formes sont estimées par vision tandis que les forces sont estimées à partir des déformations en utilisant les lois de comportement des éléments déformables.La première méthode développée permet d'estimer les forces et moments appliqués au robot à partir des courbrures de ses jambes élastiques. La stéréovision est utilisée pour reconstruire une jambe de robot continu. Le nuage de points obtenu est ensuite transformé en une courbe orientée par un repère de Frenet de telle sorte que la courbure et la torsion soient connues en tous points. Les moments internes sont estimés à partir de ces courbures et torsions, connaissant les paramètres mécaniques de la jambe de robot. Finalement, l'équilibre statique de chaque section de la jambe en termes de moment donne un système redondant dont la résolution permet de remonter à la force et au moment externes. Cette méthode, validée en simulation puis expérimentalement sur des tiges encastrées libres donne des résultats très précis en regard des méthodes concurrentes de la littérature. Elle est également rapide car elle ne nécessite aucune optimisation, et prend en compte les grandes déformations. La validation montre cependant des limites sur les formes présentant des torsions importantes, et une grande dépendance aux bruits de mesure.La seconde méthode s'appuie sur l'asservissement virtuel d'un modèle numérique du robot grâce à un retour visuel de deux caméras, cette fois sans reconstruction 3D. Cette estimation de force est fondée sur l'utilisation d'un modèle à éléments finis de la jambe de robot. Le modèle fournit deux images, réalisées par des caméras virtuelles ayant les mêmes caractéristiques que les caméras réelles. Ces paires d'images réelles et virtuelles sont comparées au moyen d'un critère de similarité utilisant l'information mutuelle afin de quantifier leur ressemblance. L'estimation de la force se fait donc par optimisation en modifiant les forces et moments appliqués au modèle numérique jusqu'à maximiser le critère de similarité. Cette seconde méthode est également validée en simulation et expérimentalement, donnant des résultats satisfaisants dans les deux cas. L'asservissement visuel virtuel permet d'être moins dépendant aux bruits de mesure et d'obtenir des résultats cohérents dans tous les cas, au dépend cependant de la vitesse d'exécution.La seconde méthode a été appliquée à un robot parallèle continu conçu et fabriqué dans ce but. Ce robot, baptisé TriRod, est un robot à trois jambes flexibles fixées à des bras rigides actionnés en rotation. Le modèle numérique du TriRod a été développé avec l'outil de modélisation SOFA qui a permis d'estimer avec succès les variables d'actionnement puis les forces externes qui lui sont appliquées en utilisant le retour visuel.

In the robotic research community, the field of flexible and continuously deformable robotics is very active. Continuum robotics offer advanced solutions for fields such as surgery, narrow spaces navigation and micromanipulation. However, the development of continuously deformable robots faces several major scientific challenges. Indeed, the design, modeling, stability and control of deformable robots are all the more complex as they present an infinite number of degrees of freedom and configurations. This thesis proposes several solutions to improve continuum robots control by introducing exteroceptive techniques of pose and force estimation. Shapes are estimated by vision, while forces are estimated from deformations using the behavior laws of deformable elements.The first method developed allows to estimate forces and moments applied to a robot by using the curvature of its elastic legs. Stereovision is used to reconstruct a continuous robot leg. The resulting point cloud is then transformed into an oriented curve using the Frenet frame, so that curvature and torsion are known at all points. Internal moments are estimated from these curvatures and torsions, knowing the mechanical parameters of the robot leg. Finally, the static equilibrium of moments of each section of the leg yields a redundant system, the resolution of which gives the external force and moment. This method, validated in simulation and then experimentally on cantilever rods, gives results that are highly accurate compared to concurrent methods from the literature. It is also fast as it does not require optimization, and handles large deformations. However, the validation shows limitations on shapes with significant torsion, and shows a high degree of dependence on measurement noise.The second method also relies on virtual servoing of a numerical model of the robot using visual feedback from two cameras, this time without 3D reconstruction. This force estimation is based on a finite element model of the robot leg. The model provides two images created with virtual cameras with the same parameters as the real ones. These pairs of real and virtual images are compared using a criterion based on mutual information to quantify their similarity. The force estimation is then performed by optimization. The forces and moments applied to the numerical model are modified until the similarity criterion is maximized. This second method has also been validated in simulation and experimentally, giving satisfactory results in both cases. The virtual visual servoing makes the method less dependent on measurement noise and gives consistent results in any situation, at the cost of a high execution time.As the second method was applied to a continuous parallel robot designed and manufactured for this purpose. This robot, named TriRod, is a robot with three flexible legs attached to rigid rotative arms. The numerical model of the TriRod was developed with the SOFA modelling tool that allowed to successfully estimate the actuation variables and then the external forces applied to it, using the visual feedback.