建安元年（196年）二月，曹操讨平汝南、颍川一带的黄巾军何仪、刘辟等部，献帝封曹操为建德将军。六月，因曹操谋士董昭的劝说，献帝身边的杨奉等人表请拜曹操为镇东将军，袭父费亭侯之爵位。曹操想迎接献帝，其谋臣大多认为山东尚未平定，献帝身边的韩暹、杨奉等又骄横难制，所以不赞成迎接献帝，但荀彧、程昱极力支持，所以曹操就派扬武中郎将曹洪率兵迎接汉献帝，但被卫将军董承与袁术的将领苌奴据险阻止。

七月，献帝回到洛阳，董承为牵制韩暹等跋扈的将领，又密召曹操来洛阳。八月，曹操来到洛阳，奏明韩暹、张杨之罪，韩暹逃奔杨奉，因护驾之功被献帝特赦，于是曹操杀了侍中台崇、尚书冯硕、议郎侯祈，封董承等十三人为列侯，曹操本人亦领司隶校尉、录尚书事。随后曹操听从董昭之建议，于九月迁献帝于许县，被封为大将军、武平侯。杨奉对迁许之举非常不满，打算拦路截击，失败。十月，曹操讨平杨奉。十一月，曹操出任司空，行车骑将军事，总揽大权。

建安二年（197年）正月，曹操讨伐张绣，军队驻扎在淯水，张绣举众投降，旋即复叛，长子曹昂、侄子曹安民、猛将典韦战死。此后，曹操又两度攻击张绣，都没有彻底击破。九月，曹操东征袁术，袁术弃军而逃至淮河，斩袁术留守四将。

建安三年（198年）四月，曹操遣谒者裴茂率中郎将段煨讨李傕，夷三族。九月，曹操东征徐州，进攻久与他为敌的吕布。在曹军攻势之下，吕布军上下离心，十二月，吕布部将魏续、宋宪等生擒陈宫，归降曹操。吕布见大势已去，下城投降。曹操将吕布、陈宫、高顺等人处死，收降吕布部将张辽以及泰山豪杰臧霸、孙观等人，初步控制了徐州。

建安四年（199年），曹操派史涣、曹仁击破张杨旧部眭固，取得河内郡，把势力范围扩张到黄河以北。