然而此舉打草驚蛇，董卓尚未抵達京城，何進已被宦官下手謀殺。
同年九月，董卓入京，執掌朝政，把漢少帝廢為弘農王，而改立其弟陳留王為漢獻帝，又派人把弘農王母子毒死，自稱太師，專擅朝政。
曹操見董卓倒行逆施，不願與其合作，遂改易姓名逃出京師洛陽（今河南洛陽東）。
曹操到陳留後，「散家財，合義兵」，且首倡義兵號召天下英雄討伐董卓。
西元190年（初平元年）正月，袁術等人共推渤海太守袁紹為盟主，曹操任代理奮武將軍，參加討董軍。
二月，被聯軍擊敗的董卓脅迫獻帝遷都長安（今陝西西安西北），自己則焚燬宮室，挖開王陵，劫掠人民，致使洛陽方圓200裡荒蕪凋敝無復人煙。
而關東聯軍懼怕董卓精銳的涼州軍的戰力，無人敢向關西推進，全都屯兵酸棗（今河南延津北）一帶。
而曹操認為董卓「焚燒宮室，劫遷天子，海內震動」，應趁機與之決戰，遂獨自引軍西進。
曹操行至滎陽汴水（今河南滎陽西南），與董卓大將徐榮交鋒，因為士兵數量懸殊，曹操大敗，士卒死傷大半，自己也被流矢所傷，幸得堂弟曹洪所救，倖免於難。
回至酸棗，曹操建議諸軍各據要地，再分兵西入武關（今陝西丹鳳東南），圍困董卓，關東諸將不肯從。
關東諸軍名為討董卓，實際各自心懷鬼胎，意在伺機發展自己勢力。
不久，諸軍之間發生摩擦，相互火拼。聯合軍至此解散。
西元191年（初平二年），曹操在東郡大敗於毒、白繞、眭固、於扶羅等，袁紹表其為東郡太守。
西元192年（初平三年），青州黃巾軍大獲發展，連破兗州郡縣，陣斬兗州刺史劉岱。
濟北相鮑信等人迎曹操出任兗州牧。曹操和鮑信合軍進攻黃巾。
鮑信戰死。曹操「設奇伏，晝夜會戰」，終於將黃巾擊敗。當年冬天，獲降卒三十餘萬，人口百餘萬。
曹操收其精銳，組成軍隊，號青州兵。又助袁紹打敗劉備、單經及陶謙諸軍。
這支軍隊就是有名的青州軍！！
西元193年（初平四年）春天，曹操在匡亭六百里大追擊大敗袁術、黑山軍、南匈奴。
徐州牧陶謙率軍攻入兗州南部的任城，曹操率軍征討陶謙攻克徐州十餘城。
西元193年（初平四年）秋，曹操的父親曹嵩來曹操處路上，被陶謙派兵殺害，曹操遂進兵徐州（治郯，今山東郯城），向東南擴充套件勢力。陶謙退守郯縣。不久曹操軍糧將盡，撤圍回軍。
次年夏，曹操再徵徐州，略地至東海。
曹操徵徐州期間，所過大肆殺戮，一路上「雞犬亦盡，墟邑無復行人」。
東郡守備陳宮對曹操不滿，於是與陳留太守張邈、張邈之弟張超、從事中郎許汜及王楷等同謀叛亂，迎呂布為兗州牧。
呂布為當時名將，先為董卓部將，後與王允定計誅殺董卓。
當時只有鄄城（今屬山東）和東郡的範（今山東范縣東南）、東阿（今山東陽穀東北）兩縣尚在曹操掌握之中，分別由司馬荀彧和壽張令程昱、東郡太守夏侯惇等堅守，形勢異常危急。
曹操從徐州趕回，聽說呂布屯於濮陽，遂進軍圍攻濮陽。
二軍相持百餘日，蝗災大起，雙方停戰，曹操軍還鄄城。
此時，曹操失去了兗州，軍糧已盡，袁紹派人來勸說想讓曹操投靠他，讓曹操舉家遷到鄴縣當人質。
曹操本打算答應袁紹，多虧程昱勸阻，曹操才打消這個念頭。
西元195年（興平二年），曹操整軍再戰呂布，三敗之，破定陶、庸丘等，平定兗州。