由唐至宋，中國的人文版圖漸漸南移，而海南島首先領受的卻是一些文化水準很高的被貶文官，他們為這個島留下了很多東西。

例如，李德裕是唐朝名相李吉甫的兒子，自己也做過宰相，在宦海風波中數度當政，最後被政敵貶到海南島崖州（即今瓊山縣）。這麼一個高官的流放，勢必是拖家帶口的，因此李德裕的子孫就在海南島代代繁衍，據說，今天島上樂東縣大安鄉南仇村的李姓基本上都是他的後裔。在島上住了一千多年，當然已經成了再地道不過的海南人，這些生息於椰林下的普通村民或許不知道，他們家族在海南的傳代系列是在一種強烈的異鄉感中開始的。

從李德裕留下的詩作看，他也注意到了海南島的桄榔、椰葉、紅槿花，但這一切反都引發起他對故鄉風物的思念，結果全成了刺心的由頭。他沒有想到，這種生態環境遠比他時時關切的政治環境重要，當他的敵人和朋友全都煙消雲散之後，他的後代卻要在這種生態環境中永久性地生活下去。他竟然沒有擦去淚花多看一眼，永遠的桄榔、椰葉、紅槿花。

海南島人民把他和其他貶謫海南的四位官員尊稱為「五公」進行紀念，認認真真造了廟，端端正正塑了像，一代又一代。「五公」中其他四位都產生在宋代，都是為主張抗金而流放海南的，而且都是宰相、副宰相的級別。一時間海南來了那麼些宰相，煞是有趣。主張求和的當權者似乎想對這些慷慨激昂的政敵開個「小玩笑」：你們怎麼老是盯著北方疆土做文章，沒完沒了地念叨著抗金、抗金？那就抗去吧——一下被扔到了最南面。

這「五公」先後上島後，日子難過，心情不好，成天哀嘆連連。但是，只要住長了，就會漸漸愛上這個地方。宋朝的副宰相李光在這裡一住十幾年，大力支援當地的教育事業，希望建設一個儒學小天地，甚至幻想要在瓊州海峽架起一座長橋，把海南島與大陸連線起來。

「五公祠」二樓的大柱上有一副引人注目的楹聯，文曰：

唐宋君王非寡德，

瓊崖人士有奇緣。

意思是，這些人品學識都很高的人士被流放到海南島，從我們的眼光來看，可以不說唐宋君王缺德，而是我們海南島的一種莫大緣分，要不然我們怎麼結交得了這樣的大人物呢！這番語句，出於海南人之手，真是憨厚之至，我仰頭一讀就十分感動。

在被貶海南島的大人物中，比「五公」更有名的還是那位蘇東坡。蘇東坡流放到海南島時已六十多歲，原先他總以為貶謫到遠離京城、遠離故鄉的廣東惠州也就完了，辛辛苦苦在那裡造了一棟房，把兒孫一一接過來聚居；誰知剛喘一口氣，又一聲令下要他渡海。蘇東坡想，已經這麼老了，到了海南先做一口棺材，再找一塊墓地，安安靜靜等死，葬身海外算了。他一到海南，衣食住行都遇到嚴重困難。他自己耕種，自己釀酒，想寫字還自己制墨，憂傷常常爬上心頭。然而，他畢竟是他，很快在艱難困苦中抬起了專門發現生趣、發現美色的雙眼，開始代表中華文化的最高層次，來評價海南島。

他發現海南島其實並沒有傳聞中的所謂毒氣，明言「無甚瘴也」。他在流放地憑弔了冼夫人廟，把握住了海南島的靈魂。由此伸發開去，他對黎族進行了考察，還朝拜了黎族的誕生地黎母山。

蘇東坡在海南過得越來越興致勃勃。他經常喝幾口酒，臉紅紅的，孩子們還以為他返老還童了：

寂寂東坡一病翁，

白鬚蕭散滿霜風。