他还没成年时父亲就去世了，接着被嫡子大哥赶出家门，流落在外衣食无着。不得已十几岁就投入军中，好在生的高大，又习得一身武艺，得以进入禁军。
杨显仪经历过太宗北伐，平北汉，又跟随真宗御驾亲征，抵抗契丹。几十年来，一路靠苦战，从兵卒到获得官身，然后又一步步高升。澶渊之盟后，杨显仪随屯驻禁军驻扎益州路。晋升益州刺史，益州衿辖，从五品的官职，在大宋可以说是高级武官了（九品为小，七品为中，五品以上。）。
后来杨武文的父亲杨朝岳带着全家包括刚出生的杨武文将家迁来蜀中，算是在蜀中安了家。后来吐蕃犯边，杨显仪平乱中战殁，当时杨武文才两岁。
因为自己出身不高，所以杨显仪漠视出身等级，待人温和体恤下人。杨武文的母亲虽然只是婢女，但杨显仪却待之极好。杨武文父亲生了四个儿子，两个女儿，除杨武文外，还有正室生的两个儿子，两个女儿，另外一个儿子是妾室所出。
四个孙儿中，自小就生的胖大，排行为一的杨武文反而最讨祖父喜欢。
杨武文的记忆中，有一幕场景特别深刻，那是他周岁时。
当时举行抓周仪式，满周岁的杨武文被放在地上，他刚刚能坐稳，在一堆五颜六色的东西中搅乱一番后，一手抓了一本论语书（宋及以前论语只是用来启蒙，还没有明及以后的崇高地位），一手抓了一柄木头做的小号铜锤。
在场所有人都愣住了，杨显仪先是一怔，接着哈哈大笑，声震屋瓦。
那正是杨显仪所使的武器，这让他激动不已，抱起杨武文开怀大笑道：“此子可承吾志。”遂取名杨武文，寓意文武双全。但武又在文前，虽然整个大宋官场甚至社会风气都崇尚文事，贬低武人，但他一生戎马，功名但自马上取，平生以武人为傲。可惜独子杨朝岳虽蒙父荫，走的也是武人的路，但兵法武略都平平庸庸，更别说习成他一身武艺了。反倒事事学文人的勾当，自诩儒将，与几个文艺不精的幕僚诗酒唱和，附庸风雅，不当值时每每一身酒气，对这个独子他已经彻底失望了。
而通过抓周，杨显仪发现长孙可以接他的衣钵，继承祖志，光大他这一支将门。这让他如何不喜，望向杨武文的目光满是疼爱，至于杨武文是庶出，那又如何？他同样是庶子。今日一切，还不是靠他一双铜锤拼杀而来？
杨武文的父亲杨朝岳淡定的坐在椅子上，看了一眼杨武文手中的书，目光变得温和，但看到那柄被他胡乱挥舞的木锤，连他父亲都砸到了，可后者却毫不在意，反而大笑道“砸的好，有一把子力气，类我”时，眉头微皱，面露不喜，武事有甚出息？但顾忌父亲，没有多说，目光又回到手中的书册上。
周围管家仆人使女都纷纷附和，恭喜道贺声不断，杨显仪畅快无比，满面红光。杨武文的母亲是个温顺的小妇人，姿色姣好，她眼中只有杨武文，目露慈爱。却没注意到主母虽强颜欢笑，却目光阴郁，袖中的双手紧紧绞在一起，心中暗恨：“这个贱婢，勾引了喝醉的夫君，生下这个庶孽子。”。
终于，她从侍女手中一把夺过才十个月的儿子，放在地上，强笑道：“大郎这般壮实，是个武人的好苗子。二郎也快周岁了，父亲与夫君不妨看看二郎会抓什么？说不定杨家能出一位状元郎，广大门楣呢！”
这句话果然吸引了所有人的注意力，都将目光投射在二郎身上，这也难怪，依文治国的大宋，上上下下都以文事为荣，传说当今官家也是琴棋书画无所不精，一手字体堪当大家，要不是因为皇帝的身份，著作不能流落民间，加上数量较少，这才埋没，不然传到后世又是一位书法大家（艺术才华方面，虽以宋徽宗最著名，但两宋十八帝代代都才华出众。）。在主母和大多数人的意识中，也只有文人状元才是最有前途的。韩琦虽然还没当上宰相，也没说出那句彻底压到武人脊梁的“东华门唱名才是好儿”的话，但此风气已成为共识。
但她没有注意到，抱着杨武文的杨显仪因为他话语中对武人的轻视，笑容变淡了许多，武人就不能光大门楣？但并没有说话，静静的望着次孙。
摇摇晃晃还坐不稳的二郎，在一堆花花绿绿的东西中，眼睛四处转动，最终选了一个散发香气的----一盒胭脂。这让她母亲脸色唰的一下变得铁青，朝杨武文的母亲狠狠瞪去，愤恨的目光再也掩饰不住。后者不知做错了什么，身子颤抖了一下，低下了头，显得非常的温顺胆怯。
杨显仪将一切都望在眼里，他眉头一皱，但终是没有说话。转过头去，看到杨武文，才绽放笑容：“类我，类我。”
武人出身的杨显仪身高八尺有余，魁梧强壮，而杨武文刚出生时就有八斤，当时还一度难产，如今刚一岁就生的比仅小他两月的异母弟弟大了一圈，身子看起来极为强壮，无怪乎杨显仪对杨武文如此喜爱，时常畅快大笑道“类我”。
通过杨武文的记忆，杨汉将这些都看在眼里，他面色复杂：杨府中祖父杨显仪是一家之主，有着军人直爽的性子，显然不喜欢妇人间的争斗，自然也不会过多理会。因为母凭子贵，他对杨武文的母亲关照有加，但常在军营中的他，哪里晓得妇人间的争斗有多厉害？
再说他能庇护杨武文的母亲一时，能庇护一世吗？
杨武文的父亲性子迂腐，一心只读圣贤书，对妻妾间的事情更漠不关心。他甚至不如父亲杨显仪心思通透，或许从来都没有察觉过。
杨武文的母亲骨子里是个小妇人，或许因为婢女的身份卑微惯了，即使生下杨家的长孙，后者更获得一家之主的喜爱，但并没有觉得自己就该趾高气昂，反而依然谨小慎微，从她面对主母的情形来看，显然畏惧异常。这个性格温顺，心思单纯的小妇人啊，即使生下杨武文，她也才十七岁。她以为自己不争不抢，默默的抚养着儿子长大就能安然无事，可是她不知道自己虽然微不足道，但她的儿子却让主母感受到了威胁。
更因为一家之主杨显仪不自觉的侧重对待，加重了这种情势。
主母不用说了，她才是正室夫人，她生下的儿子才是嫡子。丈夫虽早在与她成亲前就与婢女有染，那个低贱的女人虽然生下了杨家长子，可那又怎么样？不过是庶子而已。古往今来，庶子何时受过待见，又如何与嫡子相争？可是让她愤恨的是，公公却一反常态，对那个庶子的喜欢反而多过了嫡孙，连那个低贱的女人在杨府中地位也水涨船高，虽然依然驯服，但她如何忍得下这口气？
杨汉看到这里，一切都明白了。
杨武文的母亲虽然是个婢女，地位卑微，但因为有一家之主撑腰，地位随之水涨船高，哪怕她从来不在乎这些，心思单纯的她眼里只有儿子。可是她却削弱了主母的威严，她的儿子以庶长子的身份反而压过了主母嫡生的两个儿子，更得到祖父喜欢，这让主母愈发不快。
杨显仪在世时，主母忍而不发，可是等杨显仪去世，杨武文母亲没了人撑腰，地位一落千丈，备受主母打压。