刘备是汉景帝之子中山靖王刘胜的后裔，《典略》则称刘备是临邑侯枝属。
刘备的祖父刘雄被举为孝廉，官至东郡范令。刘备的父亲刘弘早亡，少年刘备与母亲以织席贩履为业，生活非常艰苦。刘备家屋舍东南角篱上有一桑树高有五丈于，从远处看上去就好像车盖一样，来往的人都觉得这棵树长得不像凡间之物，认为此家必出贵人。刘备小时候与同宗小孩在树下玩乐，指着桑树说：“我将来一定会乘坐这样的羽葆盖车。”刘备叔父刘子敬说：“你不要乱说话，让我们一家遭灭门之罪。”
熹平四年（175年），刘备十五岁，母亲让他外出行学，刘备与同宗刘德然、辽西公孙瓒一起拜原九江太守同郡卢植为师学习，刘德然的父亲刘元起常常资助刘备，将他和刘德然同等对待，但遭到刘元起妻子的不满，刘元起说：“我们宗中有这样一个孩子，不是个平常人。”公孙瓒与刘备结交为好友，公孙瓒比刘备年长，刘备将公孙瓒视作兄长。刘备不怎么爱读书，喜欢狗马、音乐、美衣服。身长七尺五寸，两手下垂等到膝盖，能看见自己的耳朵。不爱说话，能善待下人，喜怒不形于色，喜欢结交豪杰，当地豪侠都争着依附刘备。中山大商张世平、苏双等携千金，贩马来到涿郡，见到刘备，于是给其资助，刘备得以用来集结到很多人。