《资治通鉴》把杨纶被贬的原因认定为隋炀帝“恩薄，多所猜忌”所致。杨纶的被贬内在原因，要从其父亲与后周、杨隋的纷纭矛盾讲起。杨纶乃是隋膝穆王杨瓚之子。杨瓚是隋文帝杨坚的弟弟。杨瓚、杨坚的父亲杨忠，在后周因军功封竟陵郡公，又娶北周武帝宇文邕妹顺阳公主为妻，后来升为侍中。杨瓚生来就仪表堂堂，又有这样好的身世，很快也像其父亲一样娶了公主，与王室再次联姻。又雅爱书学，结交名士，在当时有非常好的名声，都叫他杨三郎。武帝宇文邕不仅亲爱之，而且信任他的忠诚和能力，外出征战，曾经把后方全部托付于他。武帝死后，混帐皇帝宇文赟继位，是为宣帝。宣帝顽劣，很快驾崩。宣帝岳父杨坚趁国乱主幼之机，遂有夺北周江山的野心。然而杨家与宇文家世代婚姻，其中恩怨瓜葛太深。杨坚总想拉拢杨瓚，助其成就帝业。但杨瓚不想辜负宇文邕的亲爱之义对北周颇忠心。本来就与杨坚关系不和谐的杨瓚对兄弟篡逆，既不以为然又忧心忡忡，说：“作隋国公恐不能保，何乃更为族灭事邪?”并多次有抑制甚至铲除杨坚的意思。即使如此，杨坚还是优容善待兄弟杨瓚，受禅后，立杨瓚为滕王，后拜雍州牧，多次让他与自己同坐，并亲切的称之为阿三。这固然有想靠杨瓚的名声收拢人心的企图，但也显示了杨坚性格在中国古代皇帝中算比较温和宽厚的一面。但杨瓚曾经的不合作，终归要被清算的。

　　被清算的第一步是从瓚妃宇文氏开始的。先前不惟杨氏兄弟不能黾勉同心，妯娌之间的矛盾更深。杨坚夫人，何许人也?乃周大司马独孤信的女儿。就连隋文帝亦奈何不得她。杨坚履至尊，她就成了独孤皇后。宇文氏郁郁不得志，背后常常咒诅皇后。在独孤皇后泰山压卵的情势下，杨瓚包庇妻子不成，宇文氏竟遭除属籍，自己也在开皇十一年从幸栗园，暴薨。当时社会上就都说人是遇鸩以毙的。但他家族的悲惨命运自此只是开始。

　　上辈怨结

　　深遭猜忌贬珠崖

　　杨瓚暴毙后，杨纶袭嗣滕穆王爵。杨纶字斌籀，天性宽宏仁厚，父母都有仪貌，他也姿容伟丽，而且懂音乐。高祖受禅时就被封为邵国公，邑八千户。第二年又拜邵州刺史，处世公道为梁人拥戴。但因上辈兄弟妯娌违和，在文帝时就深怀恐惧。文帝的简朴宽厚的性格，在炀帝身上刚好颠倒过来一样，忌刻、好大喜功。即位后，杨纶兄弟就深遭猜忌。杨纶忧惧不知所为，就只好向天祈祷，招一些江湖术士如王琛辈问命运。王琛辈胡说什么藤王就能飞黄腾达、相禄不凡。这不仅不能纾难，反而结祸，给疑忌构陷者以口实，有人告纶怨望咒诅。隋炀帝立即命黄门侍郎王弘穷治之盘根查底。王宏领会皇帝的旨意，奏纶厌蛊恶逆，坐当死。因为杨纶乃王公系列，享受“八议”待遇，不能随便交司法机关。公卿们不仅没有减免处罚，反而形成更严厉的判罚。司徒杨素等说：“纶希冀国灾，以为身幸。原其怀恶之由，积自家世。惟皇运之始，四海同心，在于孔怀，弥须协力。其先乃离阻大谋，弃同即异，父悖于前，子逆于后，非直觊觎朝廷，便是图危社稷。为恶有状，其罪莫大，刑兹无赦，抑有旧章，请依前律。”这其实就是公审文告。造衅开头还是上辈子的怨结，即所谓“父悖于前，子逆于后”。

　　公元605年秋天，杨纶由邵国公除名为民，贬谪到始安(今桂林)。杨纶兄弟也全部流徙边郡。大业七年(611年)，隋炀帝亲征辽东，杨纶本想上表请命，不仅不获信任，反而不久被安置到更远的珠崖。

　　隋末，天下大乱，大业十二年(616年)鄱阳起义首领操师乞自称“元兴王”，建元始兴，攻陷豫章郡(今南昌)，以其乡人林士弘为大将军。师乞中流矢死后，士弘自称皇帝，国号楚，四方豪杰响应依附，地盘北自九江，南及番禺。十三年汉阳太守冯盎以苍梧、高凉、珠崖、番禺之地附林士弘。杨纶被林士弘所逼举家流窜于儋耳，后归大唐，封为怀化县公，不久即死了。这个海南岛上的第一个贬官的身世遭遇，好像就昭示了此后琼崖近千年流贬史主要的特征：帝王忌刻寡恩，贬官位高身显。事迹见《正德琼台志·卷三十四·谪寓》、《隋书·列传第九》、《北史·列传第五十九》和《资治通鉴.卷一百八十》。