La capacité des grands modèles génératifs à répondre naturellement à des entrées textuelles, imagées et audio a suscité un vif intérêt. La capacité de ces modèles à générer des résultats qui ressemblent à un raisonnement cohérent et à des séquences de calcul est particulièrement intéressante. Je discuterai de la capacité de calcul inhérente aux grands modèles de langage et montrerai que le décodage autorégressif prend en charge le calcul universel, même sans pré-entraînement. La coexistence de systèmes de calcul informels et formels dans le même modèle ne modifie pas ce qui est calculable, mais fournit de nouveaux moyens pour susciter le comportement souhaité. Je discuterai ensuite de la façon dont la post-formation, dans une tentative de rendre un modèle plus direct, se heurte à de sévères limites de calcul sur ce qui peut être réalisé, mais que la prise en compte de ces limites peut améliorer les résultats.