With its context-independent rules valid in any setting, mathematics is considered to be the champion of abstraction, and for a long time human mathematical reasoning was thought to follow nothing but the laws of logic. However, the idea that mathematics is grounded in nature has gained traction over the past decades, and the context-independency of mathematical reasoning has come to be questioned. The thesis we defend concerns the role played by general, non-mathematical knowledge on individuals' understanding of numerical situations. We propose that what we count has a crucial impact on how we count, in the sense that human's representation of numerical information is dependent on the semantic context in which it is embedded. More specifically, we argue that general, non-mathematical knowledge about the entities described in a mathematical word problem can shape its interpretation and foster one of two representations: either a cardinal encoding, or an ordinal encoding. After introducing a new framework of arithmetic word problem solving accounting for the interactions between mathematical knowledge and world knowledge in the encoding, recoding and solving of arithmetic word problems, we present a series of 16 experiments assessing how world knowledge about specific quantities can promote one of two problem representations. Using isomorphic arithmetic word problems involving either cardinal quantities (weights, prices, collections) or ordinal quantities (durations, heights, number of floors), we investigate the pervasiveness of the cardinal-ordinal distinction in a wide range of activities, including problem categorization, problem comparison, algorithm selection, problem solvability assessment, problem recall, sentence recognition, drawing production and transfer of strategies. We gather data using behavioral measures (success rates, algorithm use, response times) as well as eye tracking (fixation times, saccades, pupil dilation), to show that the difference between problems meant to foster either a cardinal or an ordinal encoding has a far-reaching influence on participants from diverse populations (N = 2180), ranging from 2nd graders and 5th graders to lay adults, expert mathematicians and math teachers. We discuss the general educational implications of these effects of semantic (in)congruence, and we propose new directions for future research on this crucial issue. We conclude that these findings illustrate the extent to which human reasoning is constrained by the content on which it operates, even in domains where abstraction is praised and trained., Parce qu'elles manipulent des objets fondamentalement abstraits, les lois mathématiques ont une validité indépendante du contexte dans lequel elles s'appliquent. Autrement dit, 2 + 2 font 4, que l'on compte des pommes, des schtroumpfs, ou des années-lumière. Par extension, il a longtemps été considéré qu'il en était de même pour la pensée mathématique chez l'humain, perçue comme objective et indépendante des contenus sur lesquels elle s'exerce. Pourtant, un nombre grandissant de travaux s'accordent à dire que la logicité n'est pas seule à gouverner la pensée humaine, que le contexte dans lequel il se trouve influence ses raisonnements, et que la pensée mathématique est fondamentalement incarnée. Ainsi, notre thèse est que les connaissances générales des individus influencent considérablement leurs représentations des situations numériques. En particulier, nous faisons l'hypothèse que les savoirs non-mathématiques des individus au sujet des entités décrites dans un problème peuvent façonner leur représentation de la situation, les poussant à en réaliser un encodage soit cardinal, soit ordinal. Nous commençons par présenter un modèle conceptuel visant à décrire les interactions entre la sémantique du monde et la sémantique mathématique évoquées à la lecture d'un problème arithmétique à énoncé verbal. Nous faisons la prédiction que les connaissances générales sur le monde influent sur l'encodage, le recodage et la résolution des problèmes arithmétiques à énoncés verbaux, notamment en induisant des représentations soit cardinales, soit ordinales. Nous évaluons cette hypothèse grâce à 16 expériences fondées sur l'étude d'énoncés isomorphes implémentés avec certaines entités censées susciter un encodage cardinal (poids, prix, collections d'éléments) ou ordinal (durées, hauteurs, nombre d'étages). Nous montrons la robustesse de ces effets au travers d'une variété de tâches, qu'il s'agisse de classification, comparaison, résolution, production graphique, jugement de solubilité, évaluation de solution, reconnaissance, transfert et rappel de problèmes. La prévalence des effets observés est déterminée par des indices comportementaux (performances, temps de réponse, sélection de stratégies) et physiologiques (oculométrie et pupillométrie), collectés auprès d'enfants du CE1 au CM2, ainsi que d'adultes tout venants, d'enseignants en mathématiques et d'experts mathématiciens. Les riches enjeux éducatifs portés par ces questions sont discutés de même que les perspectives ouvertes par la prise en compte des effets de congruence sémantique. Nous concluons sur les contraintes que les contenus opèrent sur le raisonnement.