కాళోజీ జన్మించిన అయిదారు నెలలకే రమాబాయమ్మ చనిపోవడంతో అన్నే అమ్మగా మారి తమ్ముడు కాళోజిని పెంచి పెద్దచేశాడు. అతని అన్న [[కాళోజీ రామేశ్వరరావు]] అతను అన్న, ఉర్దూ కవి. తమ్ముడికన్నా అన్న ఆరు సంవత్సరాలు పెద్ద. కాళోజీ రామేశ్వరరావు ‘షాద్’ పేరుతో ఉర్దూ కవిత్వం రాశాడు. తమ్ముడి హైపర్యాక్టివ్తనం వల్ల అతని ప్రతిభ వెనకబడిపోయినా వాళ్లిద్దరూ అన్యోన్యంగా బతికారు. న్యాయ శాస్త్రం చదివుండీ కాళోజీ ఏనాడూ రూపాయి సంపాదించకపోయినా అతనుేఅతనే ఇల్లు గడుపుతూ వచ్చాడు. ఒకవిధంగా తండ్రి తర్వాత తండ్రిలా సాక్కుంటూ వచ్చాడు. 1996 లో రామేశ్వరరావు చనిపోయినప్పుడు, ‘నేను నా ఆరవయేట మా అన్న భుజాల మీదికెక్కినాను. అతను మరణించేదాకా దిగలేదు. నేను అతను భుజాల మీదికి ఎక్కడం గొప్ప కాదు. 70 ఏళ్ల వరకూ అతను నన్ను దించకుండా ఉండడం గొప్ప.’ అన్నాడు.<ref>{{Cite news|url=https://www.sakshi.com/news/funday/kaloji-narayana-rao-a-complete-man-63694|title=వివరం: కాళోజీ గొడవ|date=2013-09-08|work=Sakshi|access-date=2018-01-20}}</ref>