吕布从小随母习文作画，聪慧好学，一点就通，过目不忘，他生性好斗，力大过人，喜舞枪弄棒，身高体重超出常人，同龄孩童都不敢和他玩耍，视而远之，唯有同女孩在一起温顺体贴，判若两人。
吕布却总喜欢和大人们在一起，问这问那模仿学习。从五岁起常随牧马人野外放马，并喜爱马，只要一见马精神十足，兴奋的不得了。他骑在马上手舞足蹈，手持一根木棍酷似一名勇士，那时他能持棍刺击野鸡野兔。七岁时，单独骑马追击野狐山鹿，从无空手而归，经常将重于他几倍的小马驹抱起玩耍，有时举过头顶。
九岁那年，随父母到补红湾拜见外公，外公杀羊招待，大人们在羊群中逮羊不得手，他却上去生擒两只，观者为此惊叹，外公见状大喜，当即送与好马一匹。从此吕布与马为伴，精心料理，爱马如痴，从不离胯。
十一岁时，匈汉两族边民在白马寺庙举行大型庆典，吕布随父前去参加，在赛马比赛中，他的骑技超人，马快如箭，雄姿展现，一举取得了骑手荣誉。好斗的吕布，在观看摔跤比赛时，他看到摔跤手屡战屡胜全无对手，心中不服，独自冲入赛场，大声喊道：“我来试试”
摔跤胜者见是一童子，根本不把他放在眼里，瞬间二人扭在一起。经过几个回合较量，吕布竟将身高和体重比他超出几倍的大力士摔跤手撂翻在地，顿时轰动了整个赛场，人们呼之为大力士神童。从此，五原地区家喻户晓，人人皆知，并引以为自豪。
汉灵帝熹平五年公元176年，鲜卑部落军事联盟四处武力扩张，对东汉进行掠夺战争。东汉边将大举南迁，时年，吕布随父南撤到山西境内，归附为并州刺使丁原部下。吕布从此离开了五原县，开始了他横扫千军最后悲壮结局的传奇人生并州定襄县今山西省太原市以北、忻州市东南部东南的中霍村据传是吕布故里，有“霍清泉”、“智擒赤兔马”、“歪脖子树”等民间传说，都与吕布有关。