谷崎20多歲時(shí)，他有一種奇異的愛好，要找一個(gè)娼婦型的女子做妻子。他迷上了一個(gè)藝妓，可那個(gè)女子已有人包養(yǎng)，就把自己的二妹介紹給了谷崎。這就是谷崎的第一任妻子千代夫人。他們不久結(jié)婚，一年后他唯一的孩子——女兒鲇子出生。但婚后不久，他發(fā)現(xiàn)千代雖是藝妓的妹妹，本人卻是賢妻良母型，不禁大失所望。他看上了千代15歲的三妹是“可造之材”，于是經(jīng)常把千代打發(fā)回老家照顧他父親，自己卻在東京和三妹半公開地同居起來。這一段培養(yǎng)少女的經(jīng)歷被他寫成了前期的代表作《癡人的愛》。后來那位三妹在谷崎的資助下成為了演員。

有一段時(shí)間他真心想和三妹結(jié)婚，但谷崎是長子，有一種莫名的責(zé)任感，覺得一定要幫前妻解決好今后的生活才能離婚。他刻意地經(jīng)常不在家，拜托他的好朋友詩人佐藤春夫照看妻女，想撮合佐藤和千代。佐藤和千代得到他的暗示，經(jīng)過一段時(shí)間來往，也真的產(chǎn)生了感情。可是事與愿違，三妹拒絕了谷崎的求婚。他又想和千代復(fù)合，找到佐藤春夫，要和他絕交，說以前的事一律作廢，讓佐藤不要再聯(lián)系千代。佐藤給他玩得昏頭轉(zhuǎn)向，卻又真心愛上了千代，在絕交期間不能給千代寫信，就寫了很多情詩發(fā)表在報(bào)刊雜志上。后來匯總成《殉情詩集》，被譽(yù)為日本近代戀愛詩集的壓卷作。谷崎也根據(jù)這段經(jīng)歷寫了《神與人之間》、《食蓼蟲》等作品。

他們這一絕交就是六年。其間佐藤結(jié)了婚，又離了婚。谷崎想和千代重歸于好，但夫妻關(guān)系總是坎坷。六年后，他們在東京的一次聚會(huì)上又碰面了，一笑泯恩仇。佐藤說起自己家庭生活不如意，谷崎并沒作聲。他們?nèi)齻€(gè)人討論之后，聯(lián)名給親朋好友發(fā)了一張明信片，聲明“千代跟谷崎離婚，跟佐藤結(jié)婚。鯰子由千代撫養(yǎng)，谷崎家的住房讓給佐藤和千代?！碑?dāng)時(shí)谷崎住在神奈川縣的小田原，這件事被稱為“小田原事件”，也就是俗稱的“細(xì)君譲渡事件”，在社會(huì)上引起軒然大波，被作為文學(xué)家道德敗壞的例證。

他和千代夫人關(guān)系冷淡期間一直出游在外。一次，在別人招待芥川龍之介的宴會(huì)上，他認(rèn)識了慕名前來見芥川的根津松子夫人。松子出身于關(guān)西的大戶人家，是四姐妹中的老二，當(dāng)時(shí)嫁在大阪數(shù)一數(shù)二 的大富豪根津家，已生兒育女(也就是《細(xì)雪》蒔岡四姐妹的故事原型)，谷崎一見傾心，驚為天人?？墒?，雙方都有家庭，而且根津家財(cái)大勢大，他只是一介文人，所以雖然仰慕，但也遙不可及。

他一直與松子夫人書信來往，但自己也知道是無望的。谷崎在信中稱松子夫人是激發(fā)自己創(chuàng)作靈感的藝術(shù)女神，用非常恭敬的謙語，表示愿意作松子夫人的奴仆。

但谷崎明知和松子夫人沒有結(jié)果，就打算找個(gè)新人。他從女秘書帶來的3個(gè)女同學(xué)中挑選了一個(gè)，展開攻勢。這是一個(gè)20歲出頭，還充滿幻想的文學(xué)女青年。谷崎想把她培養(yǎng)成理想的妻子，好像光源氏培養(yǎng)若紫一樣。1930年，他和千代離婚，第二年和這位丁未子夫人結(jié)婚。婚后，谷崎家和根津家仍是鄰居，兩家經(jīng)常走動(dòng)。

蜜月后沒多久，谷崎發(fā)現(xiàn)要把這個(gè)日本娃娃似的年輕夫人培養(yǎng)成心目中的理想女性對40后半期的自己來說太累了。而根津家因?yàn)閼糁?松子夫人的丈夫)不擅經(jīng)營，那時(shí)經(jīng)濟(jì)已很拮據(jù)，只剩表面的排場，后來甚至把別墅都賣了。而且根津先生有一個(gè)公開的情人，很少回家。根津和松子的婚姻也搖搖欲墜。谷崎看到了自己愛情的一線曙光，在根津家的默許下，兩人迅速接近。在谷崎和丁未子短暫的婚姻生活中，數(shù)次借住根津家的別墅，沒幾個(gè)月，他們就分居了。谷崎甚至在松子的陪同下，在松子娘家出錢建的寺廟里隱居寫作。

谷崎和丁未子的婚姻只維持了一年，在松子和根津離婚后，谷崎也離了婚，并在49歲時(shí)和32歲的松子結(jié)婚，終于找到了自己終生的伴侶。