Better representation learning for TPMS
dc.contributor.advisor | Charlin, Laurent | |
dc.contributor.advisor | Farnadi, Golnoosh | |
dc.contributor.author | Raza, Amir | |
dc.date.accessioned | 2022-04-19T18:52:57Z | |
dc.date.available | NO_RESTRICTION | fr |
dc.date.available | 2022-04-19T18:52:57Z | |
dc.date.issued | 2022-03-16 | |
dc.date.submitted | 2021-10 | |
dc.identifier.uri | http://hdl.handle.net/1866/26540 | |
dc.subject | Machine learning | fr |
dc.subject | Natural language processing | fr |
dc.subject | Text representations | fr |
dc.subject | BERT transformer | fr |
dc.subject | Fine tuning | fr |
dc.subject | Self-supervision | fr |
dc.subject | Contrastive learning | fr |
dc.subject | Automating peer-review | fr |
dc.subject | Expertise Modelling | fr |
dc.subject | Interest prediction | fr |
dc.subject | l’apprentissage de la machine | fr |
dc.subject | le traitement du langage naturel | fr |
dc.subject | des représentations textuelles | fr |
dc.subject | les transformateurs BERT | fr |
dc.subject | réglage fin | fr |
dc.subject | auto-surveillance | fr |
dc.subject | Apprentissage contrasté | fr |
dc.subject | modélisation expertise | fr |
dc.subject | prévision d’intérêt | fr |
dc.subject | évaluation par les pairs automatiser | fr |
dc.subject.other | Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800) | fr |
dc.title | Better representation learning for TPMS | fr |
dc.type | Thèse ou mémoire / Thesis or Dissertation | |
etd.degree.discipline | Informatique | fr |
etd.degree.grantor | Université de Montréal | fr |
etd.degree.level | Maîtrise / Master's | fr |
etd.degree.name | M. Sc. | fr |
dcterms.abstract | Avec l’augmentation de la popularité de l’IA et de l’apprentissage automatique, le nombre de participants a explosé dans les conférences AI/ML. Le grand nombre d’articles soumis et la nature évolutive des sujets constituent des défis supplémentaires pour les systèmes d’évaluation par les pairs qui sont cruciaux pour nos communautés scientifiques. Certaines conférences ont évolué vers l’automatisation de l’attribution des examinateurs pour les soumissions, le TPMS [1] étant l’un de ces systèmes existants. Actuellement, TPMS prépare des profils de chercheurs et de soumissions basés sur le contenu, afin de modéliser l’adéquation des paires examinateur-soumission. Dans ce travail, nous explorons différentes approches pour le réglage fin auto-supervisé des transformateurs BERT pour les données des documents de conférence. Nous démontrons quelques nouvelles approches des vues d’augmentation pour l’auto-supervision dans le traitement du langage naturel, qui jusqu’à présent était davantage axée sur les problèmes de vision par ordinateur. Nous utilisons ensuite ces représentations d’articles individuels pour construire un modèle d’expertise qui apprend à combiner la représentation des différents travaux publiés d’un examinateur et à prédire leur pertinence pour l’examen d’un article soumis. Au final, nous montrons que de meilleures représentations individuelles des papiers et une meilleure modélisation de l’expertise conduisent à de meilleures performances dans la tâche de prédiction de l’adéquation de l’examinateur. | fr |
dcterms.abstract | With the increase in popularity of AI and Machine learning, participation numbers have exploded in AI/ML conferences. The large number of submission papers and the evolving nature of topics constitute additional challenges for peer-review systems that are crucial for our scientific communities. Some conferences have moved towards automating the reviewer assignment for submissions, TPMS [1] being one such existing system. Currently, TPMS prepares content-based profiles of researchers and submission papers, to model the suitability of reviewer-submission pairs. In this work, we explore different approaches to self-supervised fine-tuning of BERT transformers for conference papers data. We demonstrate some new approaches to augmentation views for self-supervision in natural language processing, which till now has been more focused on problems in computer vision. We then use these individual paper representations for building an expertise model which learns to combine the representation of different published works of a reviewer and predict their relevance for reviewing a submission paper. In the end, we show that better individual paper representations and expertise modeling lead to better performance on the reviewer suitability prediction task. | fr |
dcterms.language | eng | fr |
Files in this item
This item appears in the following Collection(s)
This document disseminated on Papyrus is the exclusive property of the copyright holders and is protected by the Copyright Act (R.S.C. 1985, c. C-42). It may be used for fair dealing and non-commercial purposes, for private study or research, criticism and review as provided by law. For any other use, written authorization from the copyright holders is required.