蒙古马是一个古老的品种。早在4-5千年前，我国北方民族就已驯化马匹。如《汉书·匈奴传》记载：尧舜以前“居乎北边，随水草而转移，其畜之所多，则牛马羊。匈奴马曾显赫一时，公元前200年，汉高祖刘邦出击匈奴在白登被冒顿单于30余万骑兵围困七日。汉武帝在与匈奴的战争中曾多次带回大量马匹，并任用匈奴王子金日蝉为汉朝的马监，民间养马事业空前发达。西晋以后，塞外各部族相继南下，带来马匹数以万计。盛唐时期，北方各族都曾以良马进贡，如《唐会要》就记载：“突厥马技艺绝伦，筋骨适度，其能致远，田猎之用无比。”并指出延陀马、同罗马、仆固马为同种，多为骆毛（兔褐毛）和骢毛（青毛》。这些都与蒙古马相似，都是蒙古马的祖先。北宋时东北的契丹马也是蒙古马，说明东北三省早已分布有蒙古马。蒙古帝国被誉为“马之帝国”，成吉思汗的卫队就是由精良的骑兵队组成，历史上称他是以“弓马之利取天下”的。根据《元史》记载，当时牧马地甚广，北至火里秃麻（今蒙古国以北）遍及塞外草原及南方。
据史料记载，成吉思汗铁骑西征时，经常靠蒙古马的惊人速度及耐力对敌人进行突然袭击，从而得到胜利。1219年9月，成吉思汗的两位大将速布台和哲别攻打花喇子漠国讹答刺城时因城内保卫工事坚固而未能攻破。哲别带军队退居500里远，并休整队伍。敌探得知成吉思汗大军退到500里远时，城内卫军便放下心来，放松了警惕。蒙古大军休整几天后，有一晚哲别突然下令，率大军进攻讹城。大军夜行500里次日清晨到达城下，进行突攻。因城内毫无准备，成吉思汗大军轻易攻破了城，并获全胜。此后蒙古军名声大振，仅用两年时间就打败了强大的花喇子漠国。 蒙古士兵装备精良，骑射精湛。草原民族全民皆兵，蒙古人从会走路起就接受军事训练，特别是骑射。蒙古武士的军事技能训练还包括套马索和铁骨朵、骑枪等，属于全能型骑兵，整体战术先进。蒙古骑兵遭遇欧洲黑暗中世纪的链甲骑士和破旧皮甲有产阶级和乃至无甲的仆从军，采取诱敌深入的办法，骑射，然后批重装铁甲的蒙军超重装骑兵冲阵，击溃屠杀西方联军，详情可看黑鞑事略这本书，南宋人所写，关于蒙军的战术战法和装备。
蒙古大军征伐西方，无论是欧洲装备较为差劲的链甲骑士、还是穆斯林世界，都可谓势如破竹，蒙军西征将领郭侃独自领万人队，在西亚屡破伊斯兰军队百二十余城、破十字军百八十余城。蒙古人真正的劲敌在东方，灭金，顷全国之力，在金占领区的喊人武装起义和南宋联军的夹击下最终灭亡金国，大量的女真人被世仇蒙古人和中原汉人武装起义军杀尽。灭南宋，花了半个世纪时间，死了三任大汗。 1949年的后内蒙古地区的蒙古马，不断向邻近省区输出，均表现了良好的适应性。在国外，大量的蒙古马在十三世纪随蒙古军两次西征，由于其耐劳苦能远涉戈壁荒漠，而且可吃其肉、饮其奶和血渡过艰苦的时刻，促进了蒙古军顺利征服了西亚和东欧。因而俄国西伯利亚、东欧，都有蒙古马的足迹。历史上，蒙古马对朝鲜、日本北海道的马种也产生了很大的影响。
明朝在北方东自大宁（今承德地区)、西至守夏皆是牧马地；并在宣化、大同等地设马市，明万历三年(1575年)规定每年互市定额3.4万匹。清朝在察哈尔设左右两翼牧厂和两处御马厂，全盛时期养马达10余万匹。数百年来，蒙古马多取道张家口输入内地，而有“口马‘之称。由于各朝代对养马业的重视，使蒙古马早已分布到我国广大北方农村。
抗日战争中，为八路军主要马匹。一次，日军冒充八路军袭击八路军总部，就因所骑不是蒙古马，曾引起八路军侦查员怀疑。
1949年后，内蒙古自治区的蒙古马继续发展，并不断被推广到内地，同时进行大量杂交改良。但截止20世纪末改良马还是少数，90%以上仍是蒙古马。
根据内蒙古牧业厅的资料显示，1975年当时全自治区就有蒙古马240.32万匹，到1982年已经下降为170余万匹了，而2006年仅有69.81万匹。
到2003、2004年间，像内蒙古其他草原一样，克什克腾的山羊基本灭绝了。不久后，政府再次要求禁养骆驼。“砍”马成了新的政策。马通常只吃新鲜的草尖，而且不同季节吃不同的草，往往十天半个月才回家一趟，哪个牧民能圈养得了。
为保护蒙古马而设置了适合蒙古马的耐力赛，2006年6月29日在中国内蒙古西乌珠穆沁旗举行的全国草原耐力赛，在天堂草原冒雨进行。全程30.5公里，来自呼伦贝尔的马主泰马加布的骏马，夺走了本次比赛的冠军（20号）和亚军（21号）。 其中的20号冠军马，30.5公里的全程创造了41分钟的记录，其速度是44.63公里/小时。用比赛来保护蒙古马
