楊英偉在很多朋友面前，有一個花名，叫「道德偉」，意思就是一個視道德非常嚴謹的男人。和太太Annie拍拖六年，結婚廿七年，自此之後，除了拍戲需要，從未拖過其他女仔的手仔；機會有沒有出現過呢？經常有，他卻把持得非常好，對感情上的專注及自律，從沒做對不起太太的行為。結婚那麼多年，他和Annie的感情愈來愈深厚，也愈發的心靈相通。
每次有這種機會埋身時，他總會想到八個字，每每想到這八個字，他就會非常的理智，從不做錯事。這八個字究竟有什麼點醒的作用呢？他徐徐道來：「妻離子散， 家破人亡！」在爺爺身上，他看到前車可鑑的例子。楊英偉更強調，做男人要自律，經常警惕自己，不要為少少的私慾，搞到身敗名裂，好多事做錯了返不到轉頭。
他最開心是自己娶到個好老婆，「我老婆跳芭蕾舞，入演藝第一年，學校要集合音樂、科技、舞蹈及戲劇系合作一個大型歌劇，舞蹈組的學生被指派教戲劇系的學生，我太太Annie正好被安排教我。她長得很瘦，清秀、仙氣逼人，非常吸引我。大家相處變成了朋友。」
有一天他覺得不開心，在後台悶悶不樂，依然要上台stand by，Annie顯然察覺了他有情緒，問他：「今天有什麼事感到不開心？」一邊說一邊很自然的撫摸了他的臉一下，「我當時就好像觸電了，感覺有人關心我。」他開始展開追求，拍拖六年，在一九九二年才結婚。
○四年太太懷孕，○五年生了兒子楊子諾。為了兒子，穩健的楊英偉決定財務重整，他在錦綉有一層樓，自己卻租住在沙田的政府宿舍，二千一百呎才萬多元，為了兒子的名校網，他後來決定買下跑馬地冬青道，先收租，等兒子兩三歲才搬去跑馬地，為子諾找了幼稚園，老師又說他三歲未戒尿片、又不懂畫圓圈，認為他是自閉症。又去了第二間幼稚園，始終認為子諾有問題，後來他們找了中大研究自閉症的博士做了三小時的測試，都不確定他是自閉症，只是說他怕嘈吵，只是手腳協調不夠好。楊英偉為子諾轉到冬青道的幼稚園，兒子反而讀得好開心，父母亦放下心頭大石。
○九年跑馬地的物業升值一倍，出售後，他在日出康城買了千一呎的房子，私家會所有游泳池，可以和兒子一齊運動，而且才花了五百多萬。「剩下的錢和爹哋在銅鑼灣買了一個單位，我自己又在觀塘買了工廈營運劇團。」
兒子幾歲大時，本來想生多一個，但因為以為子諾是自閉症，搞得父母都透不過氣來，怎敢再生？他曾提出過，太太年紀也不小，只好作罷，今年兒子十三歲了。「我一直想領養，多一個小朋友，兩個人一齊長大，可以學識如何和別人相處。如果領養一個孤兒，還可以給對方一個溫暖的家。」領養與否，今年就要做最後的決定，「將來父母走了，子諾要一個人承擔所有事情，如果有個弟弟、妹妹，可以互相支持。」
他和太太身體力行的教兒子楊子諾，四年前已開始不請傭人，不是請不起，寧願全家一起做家務，「食完飯兒子一定幫手，執垃圾、吸塵、學洗廁所，我們教他洗衫及晾衣服。」
通常兩公婆合組公司，意見分歧，因堅持己見，好容易吵架，但楊英偉和太太卻甚少吵架，「或者我愈來愈愛太太，有什麼拗撬，都是我識收，她亦不喜歡和我吵嘴，因為冇我咁多嘢講，意見相左時，她最多不出聲，這招叫做無招勝有招，一個人講晒都冇癮啦。」有時他很嬲怒，脾氣無處發放，「我出去跑步跑個多鐘，回家就氣消了。」