Pas génial, mais pas mal, non ?
Les travailleurs expérimentent ChatGPT pour des tâches telles que la rédaction d’e-mails, la production de code ou même la réalisation d’un examen de fin d’année. Le bot utilise des données provenant d’Internet, de livres et de Wikipédia pour produire des réponses conversationnelles. Mais la technologie n’est pas parfaite. Nos tests ont révélé qu’il offre parfois des réponses qui incluent potentiellement du plagiat, se contredisent, sont factuellement incorrectes ou contiennent des erreurs grammaticales, pour n’en nommer que quelques-unes – qui pourraient toutes être problématiques au travail.
ChatGPT est essentiellement un système de texte prédictif, similaire mais meilleur que ceux intégrés aux applications de messagerie texte sur votre téléphone, explique Jacob Andreas, professeur adjoint au laboratoire d’informatique et d’intelligence artificielle du MIT qui étudie le traitement du langage naturel. Alors que produit souvent des réponses qui sonnent bienle contenu peut avoir quelques problèmes, dit-il.
“Si vous regardez certains de ces très longs essais générés par ChatGPT, il est très facile de voir les endroits où cela se contredit”, a-t-il déclaré. “Lorsque vous lui demandez de générer du code, c’est généralement correct, mais il y a souvent des bogues.”
Nous voulions savoir dans quelle mesure ChatGPT pouvait gérer les tâches de bureau quotidiennes. Voici ce que nous avons trouvé après des tests dans cinq catégories.
Nous avons invité ChatGPT à répondre à plusieurs types de messages entrants.
Dans la plupart des cas, l’IA a produit des réponses relativement appropriées, même si la plupart étaient verbeuses. Par exemple, lorsque je répondais à un collègue sur Slack pour lui demander comment se passait ma journée, c’était répétitif : “@[Colleague], Merci d’avoir posé la question! Ma journée se passe bien, merci de me renseigner.
Le bot laissait souvent des phrases entre parenthèses lorsqu’il ne savait pas à quoi ou à qui il faisait référence. Il a également supposé des détails qui n’étaient pas inclus dans l’invite, ce qui a conduit à des déclarations factuellement incorrectes sur mon travail.
Dans un cas, il a déclaré qu’il ne pouvait pas terminer la tâche, affirmant qu’il n’avait pas “la capacité de recevoir des e-mails et d’y répondre”. Mais lorsqu’il a été invité par une demande plus générique, il a produit une réponse.
Étonnamment, ChatGPT a pu générer du sarcasme lorsqu’il a été invité à répondre à un collègue demandant si Big Tech faisait du bon travail.
L’une des façons dont les gens utilisent l’IA générative est de proposer de nouvelles idées. Mais les experts avertissent que les gens doivent être prudents s’ils utilisent ChatGPT pour cela au travail.
“Nous ne comprenons pas à quel point c’est juste du plagiat”, a déclaré Andreas.
La possibilité de plagiat était claire lorsque nous avons incité ChatGPT à développer des idées d’histoires sur mon rythme. Un pitch, en particulier, était pour une idée d’histoire et un angle que j’avais déjà couvert. Bien qu’il ne soit pas clair si le chatbot s’inspirait de mes histoires précédentes, si d’autres l’aimaient ou s’il générait simplement une idée basée sur d’autres données sur Internet, le fait demeure : l’idée n’était pas nouvelle.
“C’est bon pour sonner comme un être humain, mais le contenu et les idées réels ont tendance à être bien connus”, a déclaré Hatim Rahman, professeur adjoint à la Kellogg School of Management de la Northwestern University, qui étudie l’impact de l’intelligence artificielle sur le travail. “Ce ne sont pas des idées nouvelles.”
Une autre idée était dépassée, explorant une histoire qui serait factuellement incorrecte aujourd’hui. ChatGPT dit avoir une “connaissance limitée” de quoi que ce soit après l’année 2021.
Fournir plus de détails dans l’invite a conduit à des idées plus ciblées. Cependant, lorsque j’ai demandé à ChatGPT d’écrire des titres “excentriques” ou “amusants”, les résultats étaient loufoques et certains absurdes.
Naviguer dans des conversations difficiles
Avez-vous déjà eu un collègue qui parle trop fort pendant que vous essayez de travailler ? Peut-être que votre patron organise trop de réunions, réduisant votre temps de concentration ?
Nous avons testé ChatGPT pour voir s’il pouvait aider à naviguer dans des situations de travail délicates comme celles-ci. Pour la plupart, ChatGPT a produit des réponses appropriées qui pourraient servir d’excellents points de départ pour les travailleurs. Cependant, ils étaient souvent un peu verbeux, stéréotypés et, dans un cas, une contradiction totale.
“Ces modèles ne comprennent rien”, a déclaré Rahman. “La technologie sous-jacente examine les corrélations statistiques… Elle va donc vous donner des réponses stéréotypées.”
Une note de licenciement qu’elle a produite pourrait facilement tenir debout et, dans certains cas, faire mieux que les avis que les entreprises ont envoyés ces dernières années. Sans y être invité, le bot a cité “le climat économique actuel et l’impact de la pandémie” comme raisons des licenciements et a indiqué que l’entreprise comprenait “à quel point cette nouvelle peut être difficile pour tout le monde”. Il a suggéré que les travailleurs licenciés auraient du soutien et des ressources et, comme demandé, a motivé l’équipe en disant qu’ils “sortiraient de cette situation plus forts”.
Lors de conversations difficiles avec des collègues, le bot les a accueillis, a gentiment abordé le problème et a adouci la livraison en disant « Je comprends » l’intention de la personne et a terminé la note par une demande de commentaires ou une discussion plus approfondie.
Mais dans un cas, lorsqu’on lui a demandé de dire à un collègue de baisser la voix lors d’appels téléphoniques, il a complètement mal compris l’invite.
Nous avons également testé si ChatGPT pouvait générer des mises à jour d’équipe si nous lui donnions des points clés qui devaient être communiqués.
Nos premiers tests ont une fois de plus produit des réponses appropriées, bien qu’elles soient stéréotypées et quelque peu monotones. Cependant, lorsque nous avons spécifié un ton “excité”, la formulation est devenue plus décontractée et a inclus des points d’exclamation. Mais chaque mémo semblait très similaire même après avoir changé l’invite.
“C’est à la fois la structure de la phrase, mais plus encore la connexion des idées”, a déclaré Rahman. “C’est très logique et stéréotypé… cela ressemble à un essai de lycée.”
Comme auparavant, il a fait des hypothèses lorsqu’il lui manquait les informations nécessaires. Cela devenait problématique lorsqu’il ne savait pas quels pronoms utiliser pour mon collègue — une erreur qui pouvait signaler aux collègues que soit je n’avais pas rédigé le mémo, soit que je ne connaissais pas très bien les membres de mon équipe.
La rédaction de rapports d’auto-évaluation à la fin de l’année peut causer de la terreur et de l’anxiété chez certains, ce qui se traduit par un examen qui se vend à découvert.
Nourrir les réalisations claires de ChatGPT, y compris les points de données clés, a conduit à une critique élogieuse de moi-même. La première tentative a été problématique, car l’invite initiale demandait une auto-évaluation pour “Danielle Abril” plutôt que pour “moi”. Cela a conduit à une critique à la troisième personne qui semblait provenir d’Elmo de Sesame Street.
Changer l’invite pour demander un avis sur “moi” et “mes” réalisations a conduit à des phrases de compliment comme “J’ai constamment démontré une forte capacité”, “Je suis toujours prêt à faire un effort supplémentaire”, “J’ai été un atout pour l’équipe » et « Je suis fier des contributions que j’ai apportées. Il comprenait également un clin d’œil à l’avenir : “Je suis convaincu que je continuerai à apporter de précieuses contributions.”
Certains des faits saillants étaient un peu génériques, mais dans l’ensemble, c’était une critique radieuse qui pourrait servir de bonne rubrique. Le bot a produit des résultats similaires lorsqu’on lui a demandé d’écrire des lettres de motivation. Cependant, ChatGPT a eu un problème majeur : il a supposé à tort mon titre de poste.
ChatGPT a-t-il été utile pour les tâches de travail courantes ?
Cela a aidé, mais parfois ses erreurs ont causé plus de travail que de faire la tâche manuellement.
ChatGPT a servi de point de départ dans la plupart des cas, fournissant un verbiage utile et des idées initiales. Mais cela a également produit des réponses avec des erreurs, des informations factuellement incorrectes, des mots en excès, du plagiat et une mauvaise communication.
“Je peux voir que c’est utile… mais seulement dans la mesure où l’utilisateur est prêt à vérifier la sortie”, a déclaré Andreas. “Il ne suffit pas de laisser tomber les rails et d’envoyer des e-mails à vos collègues.”