Anthropic annonce avoir augmenté grandement la quantité d’information que son intelligence artificielle (IA) générative, Claude, est capable de traiter. Claude voit ainsi sa limite passer de 9 000 à pas moins de 100 000 tokens, soit environ 75 000 mots. Ou l’équivalent, souvent, d’un bon roman. Pour remettre les choses en perspective, Claude est désormais en mesure de lire et de terminer L’Adieu aux armes d’Ernest Hemingway (74 240 mots), Frankenstein de Mary Shelley (74 800 mots) ou Les Aventures de Tom Sawyer de Mark Twain (69 000 mots). Et comme The Verge le précise, l’entreprise explique que Claude peut lire et analyser toutes les informations de chacun de ces livres en moins d’une minute.
Les IA génératives comme Claude sont encore limitées par le nombre de “tokens” qu’elles peuvent traiter. Comme OpenAI l’explique dans sa page d’aide, vous pouvez voir ces tokens comme des morceaux de mots. L’IA coupe les mots pour le traitement et ceux-ci ne sont pas toujours coupés depuis le début, dans la mesure où les espaces et autres caractères sont aussi inclus. À l’heure actuelle, le modèle GPT-4 standard d’OpenAI est capable d’ingurgiter quelque 8 000 tokens, tandis que la version étendue en gère 32 000. Dans le même temps, le chatbot ChatGPT disponible au grand public à une limite fixée à environ 4 000 tokens.
Claude est désormais capable de traiter bien davantage d’informations que ces IA. Selon Anthropic, elle a pu charger Gatsby le Magnifique dans son IA pendant ses tests et modifié une seule ligne pour dire que Nick Carraway était “un ingénieur logiciel qui travaille sur des outils de machine learning chez Anthropic”. Claude a pu identifier la modification introduite en seulement 22 secondes.
Cette augmentation de tokens de l’IA d’Anthropic est aujourd’hui disponible aux sociétés partenaires de l’entreprise qui utilisent son API. Anthropic explique que cette capacité étendue aidera les entreprises à analyer rapidement du contenu pour produire des résumés, qu’il s’agisse de documents financiers verbeux ou de papiers de recherche, traiter des documents juridiques, identifier les risques et points de litige potentiels dans des documents légaux ou même comprendre une documentation complexe pour les développeurs, entre autres choses.