**26WD96327, Principal Machine Learning Engineer, Evaluation***French translation to follow!/Traduction française à suivre!** Design and run evaluation protocols (datasets, metrics, statistical analysis) that reflect real CAD/BIM user workflows and production conditions* Build repeatable evaluation tooling and automation to support model development, regression testing, and release readiness decisions* Curate, process, and analyze data from multiple sources (including production derived samples) to assess model behavior and customer outcomes* Validate end-to-end ML powered product experiences and translate product requirements into measurable evaluation criteria* Communicate findings and recommendations clearly to researchers, engineers, product teams, and leadership* Document model quality issues discovered in production or during validation (accuracy, robustness, latency, failure modes) and help prioritize follow-up investigations* BS or MS in Mechanical Engineering, Architecture, Computer Engineering, Computer Science, Applied Math, Statistics, or equivalent industry experience* 4+ years of professional experience in ML model evaluation, ML enabled QA, or applied ML engineering, including designing evaluation datasets, metrics, and protocols* Strong software engineering skills for building repeatable evaluation systems, including Python, data pipelines and analysis, testable and maintainable code, version control, and cloud based workflows (for example AWS or Azure)* Strong written communication skills for documenting evaluation methods, results, and recommendations* Familiarity with design, manufacturing, or AEC workflows, including hands-on experience with CAD/BIM tools such as Fusion, AutoCAD, or Revit* Experience with geometry or design data representations, including 2D and 3D* Familiarity with ML frameworks and tooling (for example PyTorch, Ray, or similar)**26WD96327, Ingénieur principal en apprentissage automatique, Évaluation****Présentation du poste**Le travail que nous accomplissons chez Autodesk touche pratiquement chaque personne sur la planète. En créant des outils logiciels destinés à la conception de bâtiments, de machines et même des films les plus récents, nous influençons et donnons les moyens d’agir à certaines des personnes les plus créatives au monde.En tant qu'ingénieur principal en apprentissage automatique spécialisé dans l'évaluation des modèles d'apprentissage automatique pour la CAO et le BIM, vous veillerez à ce que les expériences basées sur l'apprentissage automatique répondent à des normes élevées en matière de qualité, de fiabilité et d'impact sur les clients pour l'ensemble des produits Autodesk. Vous travaillerez de manière pratique avec les logiciels Autodesk basés sur l'apprentissage automatique afin de concevoir des ensembles de données d'évaluation, des indicateurs et des protocoles qui reflètent les flux de travail réels des utilisateurs. Vous utiliserez ces signaux pour orienter la préparation des versions et l'amélioration continue en production. Vous communiquerez les résultats à travers des résumés d'évaluation clairs et des recommandations, en partenariat avec des chercheurs, des ingénieurs et des équipes produit afin de combler l'écart entre les performances hors ligne et les résultats réels pour les clients.Vous rendrez compte à un responsable de l'équipe Model Delivery au sein d'Autodesk Research. Ce poste est basé à proximité de nos bureaux Autodesk en Amérique du Nord, de préférence à Toronto ou à Vancouver. Nous prenons en charge le travail en présentiel, hybride et à distance.**Responsabilités*** Concevoir et exécuter des protocoles d'évaluation (ensembles de données, métriques, analyse statistique) qui reflètent les flux de travail réels des utilisateurs de CAO/BIM et les conditions de production* Développer des outils d'évaluation reproductibles et des automatisations pour soutenir le développement de modèles, les tests de régression et les décisions relatives à la préparation des versions* Collecter, traiter et analyser des données provenant de multiples sources (y compris des échantillons issus de la production) pour évaluer le comportement des modèles et les résultats pour les clients* Valider les expériences produit de bout en bout basées sur le ML et traduire les exigences produit en critères d'évaluation mesurables* Communiquer clairement les conclusions et les recommandations aux chercheurs, ingénieurs, équipes produit et dirigeants* Documenter les problèmes de qualité des modèles découverts en production ou lors de la validation (précision, robustesse, latence, modes de défaillance) et aider à hiérarchiser les investigations de suivi**Qualifications minimales*** Licence ou master en génie mécanique, architecture, génie informatique, informatique, mathématiques appliquées, statistiques, ou expérience professionnelle équivalente* Au moins 4 ans d'expérience professionnelle dans l'évaluation de modèles ML, l'assurance qualité basée sur le ML ou l'ingénierie ML appliquée, y compris la conception d'ensembles de données d'évaluation, de métriques et de protocoles* Solides compétences en génie logiciel pour la création de systèmes d'évaluation reproductibles, notamment en Python, dans les pipelines et l'analyse de données, le code testable et maintenable, le contrôle de version et les workflows basés sur le cloud (par exemple AWS ou Azure)* Solides compétences en communication écrite pour documenter les méthodes d'évaluation, les résultats et les recommandations**Qualifications souhaitées*** Connaissance des flux de travail en conception, fabrication ou AEC, y compris une expérience pratique des outils CAO/BIM tels que Fusion, AutoCAD ou Revit* Expérience en représentation de données géométriques ou de conception, y compris en 2D et 3D* Connaissance des frameworks et outils d'apprentissage automatique (par exemple PyTorch, Ray ou similaires)Salary is one part of Autodesk’s competitive compensation package. Offers are based on the candidate’s experience and geographic location. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.Le salaire est l'un des éléments du programme de rémunération concurrentiel d'Autodesk. Pour les postes basés au Canada (Colombie-Britannique), nous proposons un salaire de base compris entre X et X dollars. Les offres sont basées sur l'expérience et la situation géographique du candidat et peuvent dépasser cette fourchette. En plus du salaire de base, notre programme de rémunération peut inclure des primes annuelles en espèces, des commissions pour les postes commerciaux, des attributions d'actions et un ensemble complet d'avantages sociaux.#J-18808-Ljbffr