秦末汉初（前3世纪末）之际，匈奴王冒顿单于击败东胡。东胡人北迁至鲜卑山和乌桓山，各以山名为族号，分别形成鲜卑人和乌桓人。乌桓山即现大兴安岭中部的东西罕山。乌桓随水草放牧，以穹庐为室，常要向匈奴进贡，匈奴每岁向乌桓征收牲畜、皮革。

汉光武帝建武二十二年（46年）乌桓趁匈奴内乱之时进攻匈奴，把匈奴赶出大漠以南。东汉对乌桓优抚，允许乌桓人部分移居太原关内各地，驻牧于辽东属国，乌桓人大多归附于汉。乌桓南迁后，原居地为鲜卑所占，留在塞外的部分乌桓人民，亦附鲜卑，常助鲜卑寇边。

东汉末年，辽东、辽西等地的乌桓大人趁乱称王。初平元年（190年），辽西乌桓大人蹋顿统一现辽宁一带的乌桓各部。汉献帝建安十年（205年）袁绍官渡之战之后败给曹操，其子袁熙、袁尚投奔乌桓蹋顿，形成残余势力。建安十二年（207年），曹操北征乌桓，战于柳城，斩蹋顿诸王，从此乌桓彻底衰落，地位为鲜卑取代。

五胡十六国时期，乌桓与各族杂居，形成“杂胡”。乌桓和匈奴的混血后代“铁弗”人赫连勃勃立国胡夏。

唐朝时嫩江以北有乌丸国，传说是乌桓后人所创。辽太祖耶律阿保机曾派兵征伐，之后乌桓融入其他民族。