Lors du guidage d'un geste chirurgical assisté par ordinateur, on recourt très souvent à la présentation d'informations par le moyen d'un écran placé dans le champ de vision du chirurgien. On voit dans les deux premières figures des exemples d'interface. Ceci n'est pas sans poser un certain nombre de problèmes :

le positionnement de l'écran est difficile : il doit être visible sans gêner le champ opératoire
le chirurgien doit à la fois regarder l'écran et regarder le champ opératoire (sauf s'il opère en coelliochirurgie, qui se fait sous contrôle vidéo permanent)
le chirurgien doit interpréter les informations qui lui sont transmises visuellement pour les traduire en déplacements des outils chirurgicaux qu'il manipule.

La réalité augmentée a pour objectif de présenter des informations directement interprétables dans le réel. La troisième figure ci-contre montre la superposition à la situation chirurgicale (ici, le patient en ) avec un modèle de structures anatomiques issue de données pré-opératoires (ici, obtenues en IRM).