一见刘邦器宇轩昂，与众不同，就非常喜欢，请入上席就坐。
吕公喜欢给人相面，看见刘邦的相貌，就非常敬重他。
萧何说:“刘季一向满口说大话，很少做成什么事。”
刘邦趁机和所有宾客嬉闹，干脆就坐到上座去，丝毫不畏缩。
饮酒到尽兴时，吕公向刘邦递眼色，让他一定留下来，刘邦喝完了酒，就留在后面。
吕公说:“我从年轻的时候就喜欢给人相面，经我给相面的人多了，没有谁能比得上你的面相，希望你好自珍爱。我有一女愿意许给你做洒扫的妻妾。”
酒宴散了，吕媪对吕公大为恼火，说:
“你起初总是想让这个女儿出人头地，把她许配给个贵人。沛令跟你要好，想娶这个女儿你不同意，今天你为什么随随便便地就把她许给刘季了呢？”
吕公说:“这不是女人家所懂得的。”
终于把女儿嫁给刘季了。
吕公的女儿就是吕雉。
一次，刘邦以亭长的身份为泗水郡押送徒役去骊山，徒役们有很多在半路逃走了。
刘邦估计等到了骊山也就会都逃光了，所以走到丰邑西边的水泽地时，就停下来饮酒，趁着夜晚把所有的役徒都放了。
刘邦说:“你们都逃命去吧，从此我也要远远地走了！”
徒役中有十多个壮士愿意跟随他一块走。
最后，刘邦带着这些人逃匿在芒县、砀县的山泽之中。
在此期间，发生了所谓刘邦夜醉斩蛇、“赤帝子”、吕雉宣称刘邦有“云气”等奇事，沛县之中的年轻子弟听说后，很多人都要前去投奔他。随后，刘邦的队伍不断扩大，有数百人之众。