美空ひばりと対談をしてからお互いに慕う仲になり、
1962年に
結婚したが、
1964年に
離婚。著書によれば、結婚の際も離婚の際もひばりの父親代わりの
山口組三代目
組長田岡一雄から頼まれ、逆らうことは出来なかったとのこと。実際には2人はひばりの母の反対で
入籍しておらず、
戸籍上、ひばりは生涯
独身であった。小林は
妻であるひばりにもっと仕事をセーブしてほしいと思っていたが、ひばりの母の反対もありうまくいかなかった。また、小林が豪奢な生活を好み、勝手に
借金を作るなどトラブルを起こし、ひばり母子を失望させたことも原因である(それにより、減らしていた仕事を増やさざるを得なくなっていた)。離婚
記者会見には、ひばりと共に田岡が並んで会見し、世間を驚かせた。会見で協議離婚かと聞かれた小林は(協議も何もなかったので)「理解離婚」だと答えたため、理解離婚と言う言葉が
流行語となった。また「未練はいっぱいある。皆さんの前で泣きたいくらいだ」と語っており、自身の本意でなかったと語っている。