老二吕释之，虽然也是爱舞剑之人，但那只不过是图个时髦，和士族们交往，你不配剑，还不会舞剑，那是没人会理睬你的；实际上老二喜爱读书更甚于武力，只是为人过于算计，不如大哥来得受人欢迎，吕文倒觉得虽然老二不是特别老实，但是自己既然靠相面发家，实际上吕家也置办了很多别的产业，比如单父县一多半的桑树都是吕家的，更别提吕家名下的两家酒肆和八百多亩田产，虽然田产是齐王建二儿子田桓的封地，但君王后在位时，与各国交好，齐国四十余年没有兵戎之祸，齐国非常富庶，对于封地的赋税也就非常轻微，既然吕家这么多家产，总得有个接手的人，老大喜欢舞刀弄枪，老三老四又是女儿家，迟早要嫁人，那吕释之自然就是吕文眼里的接班人了；再说了，无奸不商，这吕家最大的长辈，吕不韦，要论起奸诈，比吕释之是强了百倍，所以吕释之这常人看来的小毛病，在吕文眼里却是个重要的优点。
老三吕雉，天生的美人坯子，自生下来，想订娃娃亲的就可以把吕府门槛踏平，但吕文却始终没有同意任何人的提亲，要不是家大业大，恐怕是要结下不少冤家，而公孙兰对自家相公这事始终不理解，就说你看不上那些个里正、亭长、县尉、县丞什么的，可是县令也不是小官了吧，更何况曾经还有平陆大夫托人来求亲，若是平陆大夫你都看不上，那岂不是只有嫁给田升、田桓、田轸这些王族公子？就说是为了女儿好，挑剔得很，但是总得有个想法，每次问，都是顾左右而言他，公孙兰心里对这事老大的不痛快了。
至于老四吕媭，美貌略逊于三姐，但聪慧却有点像二哥，聪明伶俐却又多了一些心眼，加上姐姐没有订亲，也就没太多人来说老四的媒了，小姑娘幼时还好，这一天天的大了，看着天天有人来给姐姐提亲，也是羡慕得紧，最要命的是父亲偏又谁都看不上，那这样下去，万一姐姐迟迟不嫁，那轮到自己的时候，哪有什么时间来选中意的夫婿，所以平日里，小姑娘也时不时的嘴碎一下，倒是让公孙兰心里有点难受，不过吕文就不在意这些小女儿家的话语了，小孩子懂什么，他心里就这么想着。
所以说吕家除了吕文，这四个孩子也是个个不简单。这吕氏一门，在单父当真是首屈一指的望族，别人都是赶着和士大夫结交，但吕文一家比世家大夫还受尊重，每天来求面相的人络绎不绝，甚至还有楚国、赵国的人慕名而来，乘车往返一次大约就是三个月的光景，路途艰险，偶尔还会遇上匪人，可是也阻挡不了求仙之路。当然，这来访的也有不少是冲着吕雉这门亲事来的，吕文都是笑而婉拒，旁人都道这事是吕家的一件怪事。但说怪也不怪，吕文的叔公吕不韦，不就是手里握着子楚，后来靠着子楚飞黄腾达吗？这也是吕不韦这辈子所有生意里最划算的一笔，后来司马迁还给总结了四个字“奇货可居”。那么这吕文到底是怎么想的？难道是学了自己的叔公，握着吕雉，待价而沽么？
说到这里，不得不说起吕雉出生时情形了。
吕雉出生前，吕家已经有了两个儿子，因为吕文和妻子的模样，两个儿子自然长相不差，各有富贵，但如同吕文一样，谈不上王者之象。而吕雉出生时，吕文端详良久，只说了一句话“此女有大富大贵相。”，晚上又独自披了一件斗篷跑去观星，但自始至终也没有像吕泽和吕释之出生时那样说个不停。公孙兰有时候问了，吕文也是从不回答。屡屡有好事之徒看了吕雉的面相，但是却又不如吕文那样精通，看不出什么，顶多也就是说几句姑娘必是富贵之命这些泛泛之语。但明眼人都知道，吕文对待吕雉绝不一般，他对吕雉的评价永远都只有一句“此女有大富大贵相。”，这才说明了吕雉的不一般。若是其他子女，好的坏的，吕文总是会多说几句。
就这样，生活虽然精彩，倒也波澜不惊，虽然吕家在单父县如日中天，但却也没有什么特别的事情值得大书特书，只是吕文父亲也逐渐老迈，家里的生意便一一移交给了吕文，家里生意在他的打理下，比之以往更加兴旺，毕竟吕文有相面这个本事，结交了不少权贵，有了权贵撑腰，做生意自然也是如鱼得水。日复一日，年复一年，所有人习惯性的认为一切都会继续下去，可是很多事情，又岂是小老百姓可以预料到的。就在吕媭出生那年，西边发生了一件大事，吕文是吕不韦的侄重孙这件事虽然在单父这里没人提及，但这件大事，却让华夏各地吕家子弟心中不寒而栗。秦王政在这一年亲政，并立刻将丞相吕不韦和长信侯嫪毐除掉，虽然当时对吕不韦还很客气，不像嫪毐直接处死，只是罢黜职务，贬回封地，但嬴政是个疑心重的人，卧榻之侧，岂容他人鼾睡，不久又命令吕不韦全家迁往蜀地，吕不韦本已是惊弓之鸟，想着去了蜀地也不会善终，一念之下饮鸩自尽。其实嫪毐确实谋反之心昭然若揭，还在雍都培植自己的势力，招募各类游侠、死士，想在嬴政立足未稳时除去他，所以嬴政杀了嫪毐本也是情理之中的事；而吕不韦，嬴政隐约也知道，这个仲父很有可能就是自己的生父，但吕不韦在吕氏春秋里所写的“天下非一人之天下，乃天下人之天下也。”，这句话给后世惹了大祸，嬴政自然早就认为这句话不妥，就算吕不韦没有谋反之心，那始皇帝也不会甘心让别人来分享自己的帝国，何况如果吕不韦真的是自己的生父，那自己的王位也就不稳，老秦人是绝不会允许他继续做这个秦王的，所以为了保住自己的权力，吕不韦必须死，这也是吕不韦一生中唯一走错的一步棋。不过这样也好，嬴政见着首恶已死，对吕氏其他人也就不那么在意了，还允许吕不韦、嫪毐的门客、亲属返回咸阳居住。不过这一切只不过是一个开始。
又在秦王亲政三年后，秦军开始大举进攻赵国，最初当然是势如破竹，但赵国毕竟常年与匈奴作战，自从赵武灵王胡服骑射开始，赵军的战力就一直傲视天下，虽然遭受过长平之败，但那毕竟是因为赵括纸上谈兵，经过了二十多年的养精蓄锐，赵军的战力实在是不容小觑，加上赵王将镇守北疆的李牧召回，立刻扭转了局势，将秦军大败，桓齮、杨端和所率部队几乎全军覆没。不过秦军虽然在赵国受挫，但另一边内史腾却不费吹灰之力拿下了韩国，随后设立了颍川郡，并且建郡制于吕文老家阳翟。若不是吕家早早的从阳翟搬到单父，这兵马之乱定然是逃不掉了，何况吕不韦早已去世，吕家在秦人中没有什么好印象，真是待在阳翟，就算是性命无虞，恐怕秦军的洗劫是免不了的。接下来的事，便是秦王政逐一的消灭了赵、魏、楚、燕等诸侯国了。
尤其是灭魏国这件事，给吕家带来了命运的转折点。单父县原本距离魏国就很近，毗邻魏国的信陵，就是信陵君魏无忌的封地。信陵君有一子，名阔，信陵君晚年因为安釐王的猜忌，沉迷酒色，最后暴毙，所以对这个独子也是无暇管教。信陵君去世后，魏阔就更没有约束，他的家仆仗着家族地位，到处欺压平民，就这么折腾了信陵百姓闹了十多年，直到秦国灭掉魏国，虽然秦人不至于去翻信陵君的旧账，但是毕竟也是丧家之犬，魏阔只能是胆战心惊的在家里数着日子过，但是下面的狗奴才可闲不住，信陵是不能折腾了，毕竟曾经的魏国公子在秦军眼里和老百姓也没多少区别。那既然信陵不能撒野，那就去隔壁的单父闹闹，玩够了又回信陵，不管秦人还是齐人，都没办法管辖。
可是这帮家奴忘记了单父县的大豪强，吕文，从小骄纵，凡事好强，加之远近都非常敬重他，更是受不得一点气。黑平在世的时候还算有个人能压住他，行了拜师礼，再加上黑平确实也是个异人，吕文是越来越打心眼里佩服。可黑平去了后，顿时吕文一下子没了人来约束，也就做事说话没那么规矩了，到了后来，有时候还会犯点以前的竖子脾气。
魏阔的家仆在单父县偷鸡摸狗三四年，到最后实在是不知道怎么折腾了，觉得无趣，居然胆大包天跑到吕文家附近来撒泼。几个失宠贵族的家奴，他本就瞧不上，原本想着井水不犯河水，彼此相安无事。可偏偏世事就是这么巧，这件事，也彻底改变了一切。
那时候中原华夏族均以羊、狗为食，而往往自养为主。吕文相面之余，平日就爱养狗斗狗，幼时做玩伴，大了就杀了吃肉。这一天有个魏府家奴不胜酒力，又犯了馋瘾，昏头昏脑的看见对面一条狗，当头一棒，随即就烹了吃了。俗话说得好，打狗也要看主人，这狗恰好是吕家的，这下吕文火冒三丈，骂完家老没有看好自家的狗，随即抄起棍子冲到魏阔家奴面前吼道：“今日奴才棒杀我犬，我当以此道还之。”想也不想，一棍子敲得那奴才脑崩而亡，但这一棍子也让吕文一醒；其一，无论如何，你杀了人，人家杀了狗，顶多陪你几十钱，可你杀了人，是要受刑的；其二，你杀的是秦国的魏人，虽然齐人并不喜欢魏人，但现在魏国已是秦国领地，齐国和秦国还分称东西二帝，名义也算是盟国，这事说小则已，说大就是邦交事件；其三，信陵君虽然是前朝公子，但毕竟是王族，这秦国要是借这事来兴师问罪，恐怕齐国也只能舍弃一个小小的吕文，以便大事化小。
思来想去，吕文自己也不是什么圣贤，只好和家老说，请家老为自己顶罪，吕氏在单父的一半田产、房产赠与家老族人。家老本已老迈，怕是没有几年光景了，想着临死还能为后代挣出这么大一笔产业，和老妻儿女抱头痛哭了半宿，就自己去了官府投案，县令估计也是睁一只眼闭一只眼，没多问，审也不审，直接把家老收监，拟刑罚大辟，但因为此事涉及邻国，县令不得不将此决议上报给了齐相后胜，等着看相府如何裁决。不过既然杀了邻国的人，这种案子报给后胜，后胜这样的软蛋，当然按最重的罚，肯定依然是大辟，总不至于减刑为宫刑、剕刑之类的，要这么敷衍了事，秦国也不会善罢甘休。说到底，后胜没有为老百姓开脱的理由，何必为了一介草民去得罪人。
俗话说纸包不住火，这事虽说没有几个人看见，可吕文还是心里不安，毕竟心虚，待在单父也不是个办法，就算是家老顶包了，但难保魏阔的人查不出真相，这要是魏阔的人知道了，虽然表面上拿吕府没辙，可人家要是暗地里来几手，吕家这些人也不是这帮流氓的对手。何况实际上下人已经开始传言，说是魏阔的人已经知道家老只是顶罪，根本不是元凶，此时魏家已经准备找人要来对付吕文了。
所以吕文还是最终决定彻底离开单父，偷偷的变卖了不少剩下的家产，带着全族老小去了东边一百多里外的沛县，想来也是因为不少东西搬迁不易，也就没法走太远；何况不少生意也没法搬，处理也不易，离得近点，往后也方便派人打理，毕竟出了这档子事，损失已然不小，这一家老小往后还得吃喝拉撒，生意也不能全丢了。再说了，如果继续靠相面为生，难保没几天就被人知道他的下落，想来也还是有些担心，所以能留的生意还是得留着，稍微低调一点也就是了。而且毕竟在齐国犯了事，你要说继续待在齐国，也不是一个稳妥的事情，沛县距离单县虽近，但却是秦国的地界，到了秦国，万一哪天齐国想追究这事，也不可能了，齐国巴不得秦国不要有任何交道，怎么会自己跑来找秦国惹事。至于为什么去秦国这个曾经非常不喜欢的地方，因为此时只有燕国、齐国还存在，其余国家都已经被秦国攻陷，齐国不能待，燕国那么远，所以就近找个好地方就是了，反正到处都是秦国的地盘了。