Services

Information

Le public peut avoir accès à l’information sur les contenus (œuvres d’art, artéfacts et sites culturels) par divers moyens, préparés par les conservateurs :

1. Les informations peuvent être automatiquement ajoutées dans la curation, avant et après les contenus, à l’aide de l’outil de Titre.
2. Des pistes d’informations complémentaires dédiées peuvent être synchronisées avec les contenus. Celles-ci peuvent être organisées comme des variantes aux pistes purement visuelles.
3. Par l’App Descriptions, accessible via un code QR.
4. Une vidéo ligne temps historique synchronisée peut être ajoutée sur demande.

QR code allant au catalogue de l’exposition Chill

Vidéo ligne temps de l’exposition 14-18 Rupture ou Continuité

Service parallaxe / 2,5D

Introduction

Parallaxe ou 2,5D est une technique qui consiste à donner un effet 3D à une peinture, en distinguant différents éléments visuels en différentes couches dans ce cas.

Dans un environnement 3D, les effets de la caméra donnent une impression de profondeur. Certains éléments sont animés à des rythmes différents que d’autres : un arbre au premier plan semblera se déplacer plus vite que le ciel à l’arrière-plan.

Comme les couches sont placées à des profondeurs distinctes, lorsque la caméra se déplace, un effet d’animation 3D est perçu.

Limitations

Toutes les peintures ou images ne sont pas adaptées à la parallaxe / 2,5D. Si les couleurs d’une œuvre sont chromatiquement trop proches (Bacon) ou bien s’il n’y a pas de perspective dans un tableau (Servranckx), cela peut être considéré comme une modification majeure d’une œuvre, ce qui nécessite alors l’approbation de l’artiste ou les détenteurs des droits.

Exemples d’œuvres adaptées ou non à la parallaxe :

Formats des images

Si une image HD (1920 x 1080 pixels) est augmentée en utilisant la technique 2.5D, l’image originale doit être de 25 à 50% plus grande. Pour une image en UHD ou 4K augmentée (3840×2160 pixels), l’image originelle doit également être de 25 à 50% plus grande.

Par exemple, une image 4K en double gros plan centré nécessiterait une numérisation originale de 7680×4320 pixels.

Si la taille de l’image augmentée et la taille de l’image numérisée sont trop proches, cela risque de produire une image pixellisée avec des animations floues puisque l’image originelle a une résolution insuffisante.

Si un détail d’une peinture est mis en évidence, l’image originelle doit être numérisée en conséquence pour qu’il soit possible de zoomer sur le détail sans pixellisation.

En d’autres termes, lorsque la caméra effectue un zoom, les pixels s’agrandissent mais peuvent devenir flous si l’image originelle n’est pas en assez bonne résolution. Il en est de même pour les films. Les pixels d’un film augmenté doivent être toujours plus grand que celui originel. Pour un film HD en 1920×1080 pixels et en double gros plan, la taille initiale doit être d’au moins 3840×2160 pixels.

Pour le projet SHAREX, la production et la diffusion de films ont été réalisés en mode paysage, ce qui représente une orientation commune d’un écran d’aujourd’hui. Les présentations techniques complètes seront bientôt disponibles en tenant compte de ce format.

Il est également possible de travailler en mode portrait avec ce format déterminé sur les players PC.

Les sources d’images doivent être en RGB et non en CMYK. De même que si une image à vocation d’être imprimée, elle doit également être au format RGB.

Création des calques

La première étape pour la production en 2,5D est de séparer l’image en plans distincts. Cela grâce un logiciels de retouche d’images. Les objectifs de l’augmentation doivent rester clairs. Il n’est pas possible de séparer tous les éléments d’un tableau. Ces derniers doivent rester le plus distinct des uns des autres possible et être logiques de manière à représenter leur profondeur naturelle. Il peut donc y avoir un ou éventuellement deux éléments dans un groupe (par exemple, une statue avec son ombre). Ces derniers doivent rester le plus distinct des uns des autres possible et être logiques de manière à représenter leur profondeur naturelle.

Photoshop est utilisé par les services de production de WallMuse.

Le processus consiste à séparer individuellement par des calques les éléments qui se trouvent au premier plan. I l est possible d’utiliser l’outil « ciseaux intelligents » mais dans certains cas, ils ne sont pas assez précis.

Les calques ne doivent pas comporter d’espace vide pour que lorsque la caméra se déplace au sein d’un tableau, il n’y ait pas de rupture entre les éléments. Par exemple, si le mouvement d’une caméra est centrée sur une statue disposée sur un sol rouge encadrée par des bâtiments et le ciel, il est possible qu’à un moment, il existe une discontinuité entre ces éléments. Pour éviter cet écueil, l’outil « pièce » de Photoshop permet d’ajouter de nouvelles parties en fonction de celles environnantes déjà existantes.

Cette procédure consiste à faire des test et d’apporter des perfectionnements. En moyenne, 5% des parties internes des filtres doivent être corrigés. C’est un exercice précis et complexe. Dans un prochain temps, il est prévu d’améliorer et d’étendre certains « patchs » en fonction des besoins.

Eviter d’altérer la perception originelle en créant le parallaxe/2,5D

Animer un tableau peut permettre de le mettre en lumière et de le rendre plus dynamique mais cela doit rester conforme par rapport à l’œuvre originale, à moins que ce ne soit un choix de l’artiste lui-même.

WallMuse intègrera par la suite ces éléments directement dans son Player pour les membres SHAREX comme un service.

La transformation des images obtenue grâce aux calques puis au mouvement de la caméra peut être vérifiée par rapport à l’original à différents stades du processus d’animation. Le début ou la fin de l’animation doivent correspondre à l’image originelle, de sorte qu’il ne doit pas être constaté de grands changements lors du mouvement de la caméra pendant l’animation.

Example en basse résolution : Pygmalion, 1939 Paul Delvaux

Vidéos interactives 3D

Contexte

La méthodologie permet de restituer des vidéos 3D de sculptures, d’installations, de sites culturels. L’interactivité permet aux utilisateurs finaux de naviguer vers le haut, vers le bas, vers la gauche ou vers la droite, le langage de WallMuse pointant vers différentes pistes, jouant en avant et en arrière.

Qu’ils soient interactifs ou non, la préparation des scénarios est soumise pour validation et peut comprendre des versions provisoires. La modélisation 3D peut également être utilisée pour la préparation optimale des scénarios.

Captures

WallMuse est un opérateur de drone agréé en Europe et est membre de 3 réseaux. Nous avons utilisé diverses configurations, y compris 360, les caméras 4K restituant le format HD, et plus récemment les caméras 6K restituant le format 4K.

L’interactivité est préparée via un outil dans le Planificateur de la curation pour des smartphones, des Microsoft Kinect ainsi que d’autres appareils IoT.

Exemple de restitution interactive 3D

Captures plein cadre synchronisées et 360°

Diptychs, triptychs and panoramas

Ces captures ont des usages différents :

1. Préparation optimale du scénario avec des captures 3D : en post-production, des vues optimales peuvent être trouvées alignant par exemple des mouvements avec des pistes sonores.
2. Les captures diptyques ou triptyques peuvent également être élaborées, soit pour être utilisées comme brouillons ou pour être améliorées par des programmes d’amélioration vidéo de l’IA.
3. En fournissant une piste 360, qui peut être interagi avec dans les lecteurs HTML ou en laissant les utilisateurs ajuster les vues synchronisées complémentaires pour un groupe d’appareils et d’écrans.
4. Les caméras de haute résolution sont utilisées pour une qualité optimale.

3D Light-Lapses

Les Light-lapses peuvent être utiles pour capter les effets de la lumière pendant :

• différents moments de la journée, du crépuscule à l’aube,
• différents moments de l’année, par exemple le printemps, l’été, l’automne et l’hiver.

Particulièrement précieuses pour le vitrail, les installations extérieures et les sites culturels, les restitutions peuvent également devenir interactives. Les techniques utilisées comprennent :

1. Time-lapse utilisant des captures photos sur trépied, sur robots animés et sur drones
2. Hyper-lapse utilisant des captures vidéo à travers les mêmes techniques

Restitutions de performances

Compétences :

• Configurations multiples en plein cadre, utilisant des trépieds hauts
• Utilisation de caméras 360 à très haute résolution
• Une ou plusieurs caméras mobiles, utilisation de gimbals, grues et dollies
• Enregistrement audio multipiste
• Augmentations propices

Intégrations 3D et vidéo utilisant l’IA pour des productions immersives

Dans l’industrie cinématographique, les productions de jeux vidéo et de films fonctionnent souvent de manière indépendante, même lorsqu’elles explorent le même sujet. Chez WallMuse, nous cherchons à relier ces workflows dans le domaine des restitutions artistiques et culturelles. Notre objectif est d’interconnecter ces processus afin d’optimiser plusieurs types de sorties complémentaires, enrichissant ainsi l’expérience globale des utilisateurs.

En exploitant l’IA et les technologies de pointe, nous souhaitons redéfinir la manière dont les productions immersives sont créées et diffusées, en proposant des solutions innovantes adaptées à divers contextes culturels et artistiques.

Services de traductions génératives par IA, notamment pour les captations vidéo

Chez WallMuse, nous avons pour ambition d’intégrer des outils de traduction générative par IA qui respectent et valorisent l’expertise des traducteurs professionnels, tout en garantissant que toutes les sources et contributions sont reconnues de manière transparente.

Comment cela fonctionne :

Exploitation de l’expertise

Les traductions existantes seront utilisées pour affiner les modèles d’IA, en intégrant le savoir-faire et la maîtrise des traducteurs professionnels.

Assistance en temps réel

Les traducteurs actuels peuvent utiliser l’outil dans une approche agile, “sur le vif”, apportant leur expertise tout en recevant des suggestions automatisées pour rationaliser et affiner le processus de traduction en temps réel.

Extension des applications

Disponible comme outil dans le Curation Planner, cette solution s’adaptera à diverses pratiques artistiques et culturelles. Les traducteurs pourront y contribuer activement, tandis que l’outil pourra également générer des traductions automatiques personnalisées pour des contextes créatifs tels que l’opéra, la poésie et d’autres contenus culturels.

Notre engagement

Nous croyons en une collaboration harmonieuse entre l’IA et l’expertise humaine, afin de garantir des traductions de haute qualité qui préservent l’intégrité artistique et culturelle du contenu. En valorisant la transparence et le professionnalisme, nous souhaitons créer un environnement de soutien où traducteurs et technologies travaillent ensemble en parfaite synergie.