在亨利定期返回美國期間，沒有任何跡象表明他有過什麼懷疑。格洛麗亞曾想過這件事，可能是出於對喬提供一份好工作的感激，或者「是出於有教養的歐洲人的理智，願意讓這種事情自然發展，更特別的原因是這種事幾乎從來不會導致結婚」。更有可能的原因是，亨利在巴黎有個情婦。

喬·肯尼迪的處境則要難得多。他脫口而出，說他一直會忠於格洛麗亞，他要設法避免與露絲同床共寢。他自豪地告訴格洛麗亞，那年他和露絲沒有生孩子。55但是喬想讓格洛麗亞給他生孩子。格洛麗亞坦率地說，如果他再多提幾次這事，她就會打包返回加利福尼亞。「你不能掌控公眾，約瑟夫。我明天肯定就會完蛋，」她堅決地說。56但隨著時間的流逝，她推測電影人知道了他們的秘事，並視他們為「威廉·魯道夫·赫斯特和瑪麗恩·戴維斯的修改版」。「只是因為我們倆都已經結婚生子，才沒有被抓住把柄，沒有招來非議，而且完全不可能遭到大的指責。」57

就私生活方面，儘管因為喬很少考慮格洛麗亞的慾望或滿意度，他們的性生活草草了事，喬和格洛麗亞還是彼此愉悅。但是，他們共同的業務卻陷入了困境。《凱莉女王》(queenkelly)——一部喬成功強加給格洛麗亞的電影，以虧損80萬美元的慘敗收場。喬很憤怒和痛苦。「我的人生從未有過失敗，」他狂怒道。58與此同時，格洛麗亞因《莎蒂·湯普森小姐》而獲得奧斯卡提名，而這部電影他當初並不看好。

對格洛麗亞來說，《凱莉女王》是對感情、身體和金融機構的多重打擊。當她意識到情況非常糟糕時，心急如焚，不得不住進醫院。「因為拍電影欠了我一大筆錢，造成格洛麗亞這麼大的個人反應，實在沒有必要。但這實在是很不愉快。」喬給亨利的信中說道。他還提到，在他們的討論中，他和格洛麗亞已面臨「激烈的攤牌」59。

但喬通常是個深情款款的人，他時常關注格洛麗亞內心的寧靜，但他又喜歡掌控一切。不明智的倫敦之旅就是最極端的例子。喬纏著格洛麗亞和他、露絲和他的妹妹坐相同的遠洋郵輪旅行。「拜託啦，格洛麗亞，她(露絲)想見你，」他懇求道。60

他們的歐洲之行很成功，61儘管格洛麗亞從不確定露絲瞭解多少或者能猜到多少。喬所有的時間都和格洛麗亞在一起，然而露絲對她丈夫的情婦總是非常和善，顯出慈母般的愛心。一次，當喬因為一名乘客呆呆看著格洛麗亞而勃然大怒時，露絲髮聲支援他。格洛麗亞對此無比驚訝：「她是個傻子，還是個聖人？」62

亨利參加了聚會，露絲為格洛麗亞非凡的丈夫所傾倒。亨利卻為喬的佔有慾而沮喪，但因害怕危及他高度重視的工作而避免與喬對抗。「亨利被喬僱用，我基本上被他佔有，」格洛麗亞回憶道，「我整個人生都掌握在他的手中。我從來沒有像信任喬那樣信任過任何另外一個人。」63喬也讓她著迷，儘管亨利是她心中的愛。

他們回到美國參加《侵犯者》(thetrespasser)在紐約的首映。她正確地預測了這部電影會獲得喬的《凱莉女王》不曾獲得的成功。此時，格洛麗亞收到一份召見，要她去飯店會見一個身份不明的客人。此人原來是波士頓紅衣主教奧康奈爾，肯尼迪家族的朋友，他想討論她與喬·肯尼迪的關係。格洛麗亞既吃驚又生氣，她回答說他們只是商業夥伴。奧康奈爾沒有為這個說法矇騙。「我來是請你不要再見約瑟夫·肯尼迪，」他告訴她，「每次你見他，就給他帶來罪惡的機會……約瑟夫·肯尼迪沒有辦法與他的信仰和平相處，也沒有辦法繼續保持和你的關係。」格洛麗亞站起來要離開。「這是你應該與肯尼迪先生說的，」她堅決地說。她後來發現，喬對這次令人不安的談話一無所知。是露絲或肯尼迪家族的朋友們逼迫紅衣主教這麼做的嗎？格洛麗亞永遠不知道。但是主教的干預符合天主教堂處理「不適當」關係的方式，通常都是責備女人並把責任加給她們。

這時喬已從《凱莉女王》失利的絕望中走了出來，他買下了另一個電影劇本，確信這會印證他作為電影大亨的地位。格洛麗亞持嚴重的保留態度，但卻勇敢地同意在《好一個寡婦》(whatawidow)中擔任主角。《好一個寡婦》是普利策獎獲得者——西德尼·霍華德(sidneyhoward)起的名字，霍華德因此獲得了喬·肯尼迪送給他的一輛卡迪拉克轎車。

就在實際拍攝前，亨利友好地結束了與格洛麗亞的婚姻。「大火燒燬了我們美麗的愛之神殿，」他寫道，「燃燒的灰燼中什麼都沒有剩下。但是，讓我們試著保持我們甜蜜的友誼，彼此的尊重和禮貌!……我們之間的橋樑斷了，沒有什麼能夠修補，我們雙方都知道。」他結束了他悲傷的書信：「再見，親愛的，現在一切都結束了。」64格洛麗亞·斯旺森與喬·肯尼迪的緋聞使格洛麗亞付出了婚姻的代價。亨利很快提起了離婚訴訟，這樣他就能夠與康斯坦斯·貝內特(constancebennett)——一個美麗的美國金髮電影明星結婚。

之後不久，《好一個寡婦》被證明又是一場慘敗。喬的丟人感更甚於《凱莉女王》之時，因為《好一個寡婦》在片頭動畫中突出了他的名字。一天，格洛麗亞的會計報告說，西德尼·霍華德的卡迪拉克記在了格洛麗亞的個人賬戶上。難道它不應該記入電影預算中嗎？當然應該，格洛麗亞回答說。在喬的房間吃晚飯時，她提到他的辦公室出現了記賬錯誤，她開玩笑地說：「你給西德尼·霍華德買了車，我沒有買。他感謝你而不是我。所以我認為你來付賬才是公平的。」65

格洛麗亞看見喬很震驚，怒視無言，接著被食物噎著了。在恢復自我控制後，他站了起來，默默離開了餐廳。半小時後，當格洛麗亞等著他再次出現時，一名司機機智地提出開車送她回家。

幾天後，在等待道歉電話或便條始終無果後，格洛麗亞明白喬·肯尼迪中斷了和她的關係，她不再是他的情婦了。接下來的一個月，他正式撤銷了他們的業務合作關係，包括她和他簽署的授權委託書。

喬·肯尼迪一時間就像從格洛麗亞的生活中蒸發了。各種流言蜚語和報紙報道說他出賣公司資產後掙了500萬美元，並計劃撤出電影業務，集中精力從政。「我又完全靠自己了，」格洛麗亞回憶道，「沒有愛情，沒有安全感。」66

格洛麗亞也發現，儘管她有少數房產和大量財產，但只有很少的現金。這究竟是怎麼回事？在生活中，她一直信任喬，而喬卻讓她的生活傷痕累累，東倒西歪。她打聽到——懷著令人震驚的痛苦——除了卡迪拉克，喬還把他送給她的一件裘皮上衣和為她所建的電影小屋記入格洛麗亞製片公司的賬下。此外，賬目一塌糊塗，肯尼迪的辦公室拒絕提供任何幫助或澄清。

阿曼達·史密斯(amandasmith)，編輯過《命運的人質：約瑟夫·p.肯尼迪的書信》(hostagetofortune：thelettersofjosephdy)一書，他讀過格洛麗亞的回憶錄，對喬為什麼將如此明顯的私人禮品記入格洛麗亞製片公司的賬中提供了稍微不同的看法。肯尼迪手上的檔案包括，「斯旺森簽署的乾巴巴的合同和法律檔案，闡述了她對他和其相關實體的義務——一份償還的保證……是關於急切需要注入的現金的(按當前的利率)；一份給予報酬的協議……是關於為斯旺森這樣的大明星提供的豪華更衣室的」67。顯然，喬從來沒有太被其美豔情婦迷住以致忘記了自己是一個商人。他甚至讓她為他驚人的判斷錯誤承擔法律責任。當他送她禮物接受她的感謝時，他從未提醒是她而不是他在付賬，儘管他肯定心知肚明她並不理解他讓她簽署的許多檔案的性質。

與喬徹底和突然分手後，格洛麗亞竭力想保持情緒和財務上的平衡。一段時間她健康欠佳，體重陡然減輕，身體機能失調。但是，作為一個單身母親的責任，要享受奢華的生活方式和不能讓事業停頓的念頭很快促使她從床上爬起來，再一次走向世界。

格洛麗亞又結婚了，糟糕的是，她又生了一個孩子。她離婚，再結婚，再一次糟糕地離婚。這些短暫和不幸的婚姻並未讓她製作電影的腳步停下來。但到了1942年，她已是囊中羞澀，不得不大幅度削減自己的支出，尋找不同的謀生方式。她嘗試演電視，然後重回電影。1949年她50歲時拍攝的《日落大道》(sunsetboulevard)是她復出後獲得非常成功的一部影片，講述的是好萊塢一個年輕男人與一個年老女人的浪漫故事。復出後，她繼續演出，包括在百老匯的演出，直到她轉向雕塑，在此方面她也獲得了成功。她的第六次也是最後一次婚姻是與比爾·達夫蒂，那時她將近77歲，而比爾60歲。他們的婚姻是幸福的。

在突然拋棄格洛麗亞一年半後，喬·肯尼迪打電話給格洛麗亞，他說他和美國下一任總統富蘭克林·d.羅斯福在一起。格洛麗亞對他的厚顏無恥感到很憤怒，砰地結束通話了電話。隨後，她被勸和喬達成了非正式的和解。從那時起直到去世，喬都會向人吹噓跟她的關係。當他中風跌倒時，她發了一封署名為「凱莉」的慰問電報。很難相信，她選擇這個他最失敗的電影的名字，沒有一丁點報復的意味。

在成為喬·肯尼迪情婦50年後，格洛麗亞撰寫了她的回憶錄。時間的流逝、她自己驚人的事業復出、她非常健康的身體、個人幸福和超常自然的美麗，這一切都改變了她對他們關係的評價——70多歲時，在「卡羅爾·巴內特秀」(thecarolburnettshow)節目中，她穿著暴露的服裝跳舞，展示了可能屬於30歲女人的性感誘人的身體。形成對比的是，喬不僅完蛋了，而且在嚴重的中風後忍受了多年的孤獨痛苦。格洛麗亞·斯旺森能夠寬容他。但是，半個世紀的時間也不能抹去這個男人帶給她的痛苦，他曾承諾要救她，卻反倒使她的生活陷入混亂。她一直心甘情願做他的花瓶，允許他在所有他想炫耀的人——包括他妻子——面前炫耀她。她一直是他欺騙行為的共謀，為了捧紅她，他不惜愚弄自己的親朋和不知名的公眾，而她也熱切地參與其中。最終，格洛麗亞·斯旺森多半後悔她做了這筆糟糕的交易。