初平三年（192年），青州黄巾军大获发展，连破兖州（治昌邑，今山东省巨野县东南）郡县，阵斩兖州刺史刘岱。济北相鲍信等人迎曹操出任兖州牧。曹操和鲍信合军进攻黄巾。鲍信战死。曹操“设奇伏，昼夜会战”，终于将黄巾击败。当年冬天，获降卒三十余万，人口百余万。曹操收其精锐，组成军队，号青州兵。又助袁绍打败刘备、单经及陶谦诸军。

初平四年（193年）春天，曹操在匡亭六百里大追击大败袁术、黑山军、南匈奴。徐州牧陶谦率军攻入兖州南部的任城，曹操率军征讨陶谦，进兵徐州（治郯，今山东省郯城县），向东南扩展势力。攻克徐州十余城。陶谦退守郯县。不久曹操军粮将尽，撤围回军。

兴平元年（194年）春天，曹操的父亲曹嵩和弟弟曹德在前来曹操处途中，被陶谦派兵杀害。夏，曹操再征徐州，略地至东海。曹操征徐州期间，所过多所残戮（《后汉书》记载曹操杀徐州男女数十万，鸡犬不留），导致泗水为之不流。东郡守备陈宫对曹操不满，于是与陈留太守张邈、张邈之弟张超、从事中郎许汜及王楷等同谋叛乱，迎吕布为兖州牧。当时只有鄄城（今山东省鄄城县）和东郡的范（南范县）、东阿（今山东省阳谷县）两县尚在曹操掌握之中，分别由司马荀彧和寿张令程昱、东郡太守夏侯惇等坚守，形势异常危急。曹操从徐州赶回，听说吕布屯于濮阳，遂进军围攻濮阳。二军相持百余日，蝗灾大起，双方停战，曹操军还鄄城。此时，曹操失去了兖州（治今山东省郓城县西北），军粮已尽，袁绍派人来劝说想让曹操投靠他，让曹操举家迁到邺县当人质。曹操本打算答应袁绍，多亏程昱劝阻，曹操才打消这个念头。

兴平二年（195年），曹操整军再战吕布，三败之，破定陶（今山东定陶）、廪丘（今山东郓城西北）等，平定兖州。吕布逃往徐州投靠刘备。七月，因李傕、郭汜的火拼，汉献帝从长安东归，下诏让各路诸侯勤王。十月，献帝正式拜曹操为兖州牧。