先秦及秦汉魏晋，各代地方均向朝廷进贡四大怀药。公元前734年，卫桓公向周王室进贡怀山药。公元前718年，魏宣公向周天子进贡怀地黄，至今已近3000年。追根溯源，怀是武陟的特称。“大禹治水，覃怀底绩”。“覃怀属冀州”。怀指被黄河、沁河怀抱的武陟。周设怀邑，是苏忿生的封地。春秋战国，怀邑随王霸之争先后属卫、鲁、郑、魏、秦，他们进贡的都是怀、怀邑、覃怀的山药、地黄。公元前221年起，秦汉魏晋隋唐设怀县、河内郡、怀州。汉光武帝（刘秀）起兵铲王莽，在怀县城建行宫，称为“怀都”，在这里祭汉高祖、太宗、世宗，出兵攻克洛阳。定都洛阳后，刘秀仍以怀城为行宫，常来巡视、听政。传说刘秀被王莽大军追杀东奔西逃时，贫病交加，多次靠怀药救命。怀药名扬天下，当与刘秀有关。

首次称“怀菊花”，将“怀”字与“菊花”联系的最早文献，是唐朝政府颁行的《唐本草．图经》，书中说：“河内皆称地薇蒿。武陟菊花称怀菊花”。唐佚名的《天宝单方图》也说：“原生南阳山谷及田野中。……河内名地薇蒿”。这里所说的“南阳”，指的是太行山之南、黄河之北焦作市所辖的武陟等县，后文又特别指出河内，可见对当地所产菊花的重视。北宋苏颂撰辑的《图经本草》也说：“菊花处处有之，以南阳覃地者为佳。”这里所说的“覃地”，即覃怀地。

将山药称怀山药的最早文献，是明朝医学家龚延贤所著的《寿世保元》，此书第一次提出“怀山药”之名。《神农本草经》载：“山药以河南怀庆者良”。

在牛膝前冠以“怀”字的最早文献记载，是宋朝苏颂的《图经本草》（1061年），苏颂在书中指出“牛膝今江淮、闽粤、关中亦有之，然不及怀州者真。怀牛膝之名由宋朝唐慎微在《经史证类备急本草》（简称《证类本草》1083）中首先提出的，特称“怀州牛膝”。到了清朝，张秉成的《本草便读》便简称“怀牛膝”。

第一次把地黄和“怀”字联系起来的是明朝名医刘文泰，他说生地黄“今怀庆者为胜”。李时珍在《本草纲目》中明确地说：“今人唯以怀庆地黄为上”，称怀地黄可以填骨髓，生精血，补五脏，通血脉，利耳目，黑须发。那么，将四种药材概括为“四大怀药”的又是什么时候呢？一九七八年出版的新《辞海》，对武陟县的释文中说：盛产山药、地黄、牛膝、菊花，号称“四大怀药”。不仅讲了“四大怀药”一词，而且又讲了简称“怀药”。 “七五”期间出版的《四大怀药栽培》系列丛书中说：“国内著名中药材专家、教授根据生物学特性判定：《本草纲目》中所描绘的山药、牛膝、地黄、菊花图样均为怀府所产。”

武陟县境夏谓“覃怀”，周置“怀邑”，秦设“怀县”,唐贞观元年（公元627年）废怀县入武陟，后于武陟置怀州，明以后属怀庆府。所以明朝以前的四大怀药有专指武陟药材之说。明清怀府八县渐有出产，统称怀药是以后的事。隋唐以前，四大怀药种植以今武陟县西部的小董、西陶、大封及温县的武德镇为源点，逐步往水土条件相同的周边地区辐射发展。明清以后，四大怀药进入鼎盛时期，逐步形成了今天焦作市辖区广泛种植的局面。到清朝末年，怀山药的种植面积已达900公顷，总产量近百万千克。清光绪庚子年（公元1900年），仅武陟县就产地黄20万千克、菊花2.3万千克、牛膝5万千克。1962年，国家从《本草纲目》记载的1892种中草药中优选出44种作为“国药之宝”，四大怀药俱列其中。

现在焦作市在努力推广“四大怀药”品牌，已获得了国家原产地标识。