Better representation learning for TPMS
dc.contributor.advisor | Charlin, Laurent | |
dc.contributor.advisor | Farnadi, Golnoosh | |
dc.contributor.author | Raza, Amir | |
dc.date.accessioned | 2022-04-19T18:52:57Z | |
dc.date.available | NO_RESTRICTION | fr |
dc.date.available | 2022-04-19T18:52:57Z | |
dc.date.issued | 2022-03-16 | |
dc.date.submitted | 2021-10 | |
dc.identifier.uri | http://hdl.handle.net/1866/26540 | |
dc.subject | Machine learning | fr |
dc.subject | Natural language processing | fr |
dc.subject | Text representations | fr |
dc.subject | BERT transformer | fr |
dc.subject | Fine tuning | fr |
dc.subject | Self-supervision | fr |
dc.subject | Contrastive learning | fr |
dc.subject | Automating peer-review | fr |
dc.subject | Expertise Modelling | fr |
dc.subject | Interest prediction | fr |
dc.subject | l’apprentissage de la machine | fr |
dc.subject | le traitement du langage naturel | fr |
dc.subject | des représentations textuelles | fr |
dc.subject | les transformateurs BERT | fr |
dc.subject | réglage fin | fr |
dc.subject | auto-surveillance | fr |
dc.subject | Apprentissage contrasté | fr |
dc.subject | modélisation expertise | fr |
dc.subject | prévision d’intérêt | fr |
dc.subject | évaluation par les pairs automatiser | fr |
dc.subject.other | Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800) | fr |
dc.title | Better representation learning for TPMS | fr |
dc.type | Thèse ou mémoire / Thesis or Dissertation | |
etd.degree.discipline | Informatique | fr |
etd.degree.grantor | Université de Montréal | fr |
etd.degree.level | Maîtrise / Master's | fr |
etd.degree.name | M. Sc. | fr |
dcterms.abstract | Avec l’augmentation de la popularité de l’IA et de l’apprentissage automatique, le nombre de participants a explosé dans les conférences AI/ML. Le grand nombre d’articles soumis et la nature évolutive des sujets constituent des défis supplémentaires pour les systèmes d’évaluation par les pairs qui sont cruciaux pour nos communautés scientifiques. Certaines conférences ont évolué vers l’automatisation de l’attribution des examinateurs pour les soumissions, le TPMS [1] étant l’un de ces systèmes existants. Actuellement, TPMS prépare des profils de chercheurs et de soumissions basés sur le contenu, afin de modéliser l’adéquation des paires examinateur-soumission. Dans ce travail, nous explorons différentes approches pour le réglage fin auto-supervisé des transformateurs BERT pour les données des documents de conférence. Nous démontrons quelques nouvelles approches des vues d’augmentation pour l’auto-supervision dans le traitement du langage naturel, qui jusqu’à présent était davantage axée sur les problèmes de vision par ordinateur. Nous utilisons ensuite ces représentations d’articles individuels pour construire un modèle d’expertise qui apprend à combiner la représentation des différents travaux publiés d’un examinateur et à prédire leur pertinence pour l’examen d’un article soumis. Au final, nous montrons que de meilleures représentations individuelles des papiers et une meilleure modélisation de l’expertise conduisent à de meilleures performances dans la tâche de prédiction de l’adéquation de l’examinateur. | fr |
dcterms.abstract | With the increase in popularity of AI and Machine learning, participation numbers have exploded in AI/ML conferences. The large number of submission papers and the evolving nature of topics constitute additional challenges for peer-review systems that are crucial for our scientific communities. Some conferences have moved towards automating the reviewer assignment for submissions, TPMS [1] being one such existing system. Currently, TPMS prepares content-based profiles of researchers and submission papers, to model the suitability of reviewer-submission pairs. In this work, we explore different approaches to self-supervised fine-tuning of BERT transformers for conference papers data. We demonstrate some new approaches to augmentation views for self-supervision in natural language processing, which till now has been more focused on problems in computer vision. We then use these individual paper representations for building an expertise model which learns to combine the representation of different published works of a reviewer and predict their relevance for reviewing a submission paper. In the end, we show that better individual paper representations and expertise modeling lead to better performance on the reviewer suitability prediction task. | fr |
dcterms.language | eng | fr |
Fichier·s constituant ce document
Ce document figure dans la ou les collections suivantes
Ce document diffusé sur Papyrus est la propriété exclusive des titulaires des droits d'auteur et est protégé par la Loi sur le droit d'auteur (L.R.C. (1985), ch. C-42). Il peut être utilisé dans le cadre d'une utilisation équitable et non commerciale, à des fins d'étude privée ou de recherche, de critique ou de compte-rendu comme le prévoit la Loi. Pour toute autre utilisation, une autorisation écrite des titulaires des droits d'auteur sera nécessaire.