R&I Research Intern, 3D-mesh and 3D-Gaussians

InterDigital, Inc.


Date: il y a 5 jours
Ville: Rennes, Bretagne
Type de contrat: Stage
About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence (“AI”), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today’s most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.InterDigital is a registered trademark of InterDigital, Inc.

For more information, visit: www.interdigital.com.

Summary:

There are several ways to represent a 3D scene. For example, the use of triangle meshes is very popular in the computer graphics community. Using 3D meshes, a 3D scene can be modelled by points in 3D space, which are connected to create triangles that describe the surface of the objects in the scene. Another way is to model a scene by Gaussians dispersed in the 3D space. Such a representation has become very popular recently, as it enables a high-quality and real-time rendering of virtual views of a 3D scene acquired from real-world images.

In this internship, we plan to explore a new representation of a 3D scene, which uses one or more 3D meshes combined with 3D Gaussians. The ultimate goal would be to design a new compression algorithm for such a representation.

We envision the following outline for the work carried out during the internship:

  • Literature review of any existing methods for generating a 3D mesh + 3D Gaussian scene representation, and any existing compression methods for such formats.
  • Choice of a representation format that:
    • Takes advantage of the strong points of both 3D mesh and 3D Gaussian representations, in order to work better than either 3D meshes or 3D Gaussians on their own.
    • Is amenable to an efficient encoding of the scene geometry and attributes.
  • Proposal of a new compression algorithm for the chosen data format (which may either start from a modification of an existing algorithm, or be entirely new).
The intern will be working in the 3D Native Codec team, in the Immersive Standards Group of the Video Lab.

Responsibilities:

Together with the InterDigital research team, the main responsibilities of the prospective student include:

  • To identify existing techniques and challenges in the field related to the internship topic;
  • To propose novel and efficient ideas to address the challenges;
  • To implement and verify the proposed methods; and
  • To wrap up the results into one or more patent applications and/or a paper draft.

Qualifications:

  • Graduate student (M.Sc.) in Computer Engineering, Computer Science, Software Engineering, or related fields.
  • Knowledge in one or more of the following: 3D geometry, computer vision, computer graphics, image/signal processing, deep learning, C/C++, Python. Previous experience working with 3D meshes would be a plus, but is not strictly necessary.
  • Knowledge about compression/information theory.
  • Fluent English. Excellent written and verbal communication skills.
  • Strong team player.

Keywords: 3D, mesh, Gaussian splatting, compression, immersive

Expected Outcomes:

  • Contribution to/development of software modules: C++ functions, Python scripts
  • Patent(s)
  • Potential paper publication depending on results
  • Potential standardization contribution

Location: Rennes, France

InterDigital is an equal employment opportunity employer. InterDigital will not engage in or tolerate unlawful discrimination with regard to any employment decision, policy or practice based on a person’s sex, gender, pregnancy (including childbirth, breastfeeding and related medical conditions), age, race, color, religion, creed, national origin, ancestry, citizenship, military status, veteran status, mental or physical disability, medical condition, genetic information, sexual orientation, gender identity or expression, or any other factor protected by applicable federal, state or local law. This policy applies to all terms and conditions of employment, including, but not limited to, recruiting, hiring, compensation, benefits, training, assignments, evaluations, coaching, promotion, discipline, discharge and layoff.

_____________________________________________________________________________

À propos d'InterDigital

InterDigital est une entreprise mondiale de recherche et de développement qui se concentre principalement sur les technologies sans fil, vidéo, d'intelligence artificielle ("AI") et les autres technologies connexes. Nous concevons et développons des technologies fondamentales qui permettent des expériences connectées et immersives dans une large gamme de produits et de services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui fournissent de tels produits et services, notamment des fabricants d'appareils de communication sans fil, d'appareils électroniques grand public, d'appareils IoT, de voitures et d'autres véhicules à moteur, ainsi que des fournisseurs de services basés sur le cloud, tels que la diffusion vidéo. En tant que leader de la technologie sans fil, nos ingénieurs ont conçu et développé un large éventail d'innovations utilisées dans les produits et les réseaux sans fil, depuis les premiers systèmes cellulaires numériques jusqu'à la technologie 5G et les technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader dans le domaine du traitement vidéo et de la technologie de codage/décodage vidéo, avec un important effort de recherche en matière d'IA qui recoupe à la fois les technologies sans fil et les technologies vidéo. Fondée en 1972, InterDigital est cotée au Nasdaq. InterDigital est une marque déposée d'InterDigital, Inc.

Pour plus d'informations, n'hésitez pas à consulter le site www.interdigital.com.

Résumé

Il existe plusieurs façons de représenter une scène en 3D. Par exemple, l'utilisation de maillages triangulaires est très populaire dans la communauté des infographistes. Grâce aux maillages 3D, une scène 3D peut être modélisée par des points dans l'espace 3D, qui sont connectés pour créer des triangles décrivant la surface des objets de la scène. Une autre méthode consiste à modéliser une scène par des gaussiennes dispersées dans l'espace 3D. Ce type de représentation est devenu très populaire récemment, car il permet un rendu de haute qualité et en temps réel des vues virtuelles d'une scène 3D acquise à partir d'images du monde réel.

Dans le cadre de ce stage, nous prévoyons d'explorer une nouvelle représentation d'une scène 3D, qui utilise un ou plusieurs maillages 3D combinés à des gaussiennes 3D. L'objectif ultime serait de concevoir un nouvel algorithme de compression pour une telle représentation.

Nous envisageons le schéma suivant pour le travail effectué pendant le stage :

  • Analyse documentaire de toutes les méthodes existantes pour générer un maillage 3D + une représentation gaussienne de la scène 3D, et de toutes les méthodes de compression existantes pour de tels formats.
  • Choix d'un format de représentation qui :
    • Tire parti des points forts des représentations par maillage 3D et par gaussiennes 3D, afin de fonctionner mieux que les maillages 3D ou les gaussiennes 3D pris isolément.
    • Se prête à un encodage efficace de la géométrie et des attributs de la scène.
  • Proposition d'un nouvel algorithme de compression pour le format de données choisi (qui peut partir d'une modification d'un algorithme existant ou être entièrement nouveau).
Le stagiaire travaillera au sein de l'équipe 3D Native Codec, dans le groupe Immersive Standards du Video Lab.

Responsabilités

En collaboration avec l'équipe de recherche d'InterDigital, les principales responsabilités du futur étudiant sont les suivantes :

  • Identifier les techniques et les défis existants dans le domaine lié au sujet du stage ;
  • Proposer des idées nouvelles et efficaces pour relever les défis ;
  • Mettre en œuvre et vérifier les méthodes proposées ; et
  • Synthétiser les résultats dans une ou plusieurs demandes de brevet et/ou un projet de document.

Qualifications

  • Étudiant·e diplômé·e (M.Sc) en génie informatique, en sciences informatiques, en génie logiciel ou dans des domaines connexes.
  • Connaissances dans un ou plusieurs des domaines suivants : Géométrie 3D, vision par ordinateur, infographie, traitement des images/signaux, deep learning, C/C++, Python. Une expérience préalable de travail avec des maillages 3D serait un plus, mais n'est pas strictement nécessaire.
  • Connaissance de la compression et de la théorie de l'information.
  • Anglais courant. Excellentes aptitudes à la communication écrite et verbale.
  • Solide esprit d'équipe.

Mots clés : 3D, maillage (Mesh), compression, immersion, XR.

Résultats Attendus :

  • Contribution au développement de modules logiciels : Fonctions C++, scripts Python
  • Brevet(s)
  • Publication potentielle d'un article en fonction des résultats
  • Contribution potentielle à la standardisation

Lieu : Rennes, France

InterDigital est un employeur offrant l'égalité des chances en matière d'emploi. InterDigital s'interdit de toute discrimination illégale et ne tolère aucune décision, politique ou pratique prise en matière d'emploi basée sur le sexe, le genre, la grossesse (y compris l'accouchement, l'allaitement et l'état de santé), l'âge, la race, la couleur, la religion, la croyance, l'origine nationale, l'ascendance, la citoyenneté, le statut militaire, le statut de vétéran, le handicap mental ou physique, l'état de santé, les informations génétiques, l'orientation sexuelle, l'identité ou l'expression de genre, ou tout autre facteur protégé par la loi fédérale, nationale ou locale applicable. Cette politique s'applique à toutes les conditions d'emploi, y compris, de façon non limitative, au recrutement, à l'embauche, à la rémunération, aux avantages sociaux, à la formation, aux affectations, aux évaluations, au coaching, à la promotion, à la discipline, au licenciement et à la mise à pied.
Publier un CV