阿倫的母親安_艾弗遜出生在哈特福德猶太區，有4個兄弟。15歲那年，她入選了教會高中女籃，但在例行體檢時被意外告知：她懷孕了！這樣，她不得不來到了弗吉尼亞州的漢普頓和祖母住在一起，因為她的母親在她12歲那年就過世了。安回憶說：“那天大雨滂沱，她離開我的那一霎那，我覺得天都塌了。我站在雨中大聲哭喊‘上帝呀！你為什麼要這樣？你怎麼能這樣啊！’”安知道這個未出世的孩子的父親是誰，他是阿倫_布魯頓，是她在哈特福德的同學。
布魯頓曾經說過很愛她。就像許多年輕人一樣，布魯頓面對即將擔負“父親”這一職責毫無準備。多年後，他在接受《費城日報》採訪時說：“我當時很想去漢普頓找安，但我當時也只有15歲。不久，她愛上了別人，我也一樣。我們就失去了生活在一起的機會。”
1975年6月7日，阿倫_艾弗遜來到了這個世界上。安回憶說：“那時候，周圍的朋友都叫我祈求是個男孩，這樣我在將來才會有所依靠。當醫生把阿倫抱給我看時，我興奮地大叫一聲：‘上帝，是個男孩！’我平生第一次抱起了芭比娃娃以外的娃娃，發現他的手臂比芭比娃娃的長好多，一個念頭一閃而過，‘我該讓這小傢伙學打籃球’。”
在小艾弗遜出生後不久，安就帶著他回到了哈特福德見他的父親。不久她就發現，這兒的環境不利於小艾弗遜的成長，“暴力、毒品隨處可見，我告訴自己將永遠不要回來。”3歲的小艾弗遜和母親離開了布魯頓。不久前，安說：“我知道我們將面臨的嚴峻處境，但我不怪布魯頓，永遠不會。我也告誡艾弗遜不要責備他的生父。我為布魯頓感到萬分遺憾，因為他不能分享阿倫今日的成就，他和阿倫只能形同路人。”
安是阿倫幼年時期回憶的全部，這是母子之間牢不可破的愛的紐帶，“她是我最仰慕的人，”阿倫_艾弗遜將母親的畫像文在胸前，“我不崇拜任何明星，她才是我的偶像。她總是提醒我，說我終將有所作為。我相信她的話。有些母親在那樣的困境中也許早就放棄了，她卻迎難而上。我真的慶幸我是安的兒子。“
不久，安就結識了新男友麥克爾_弗里曼，和他一起住進了廉價的斯特沃德花園公寓，它位於弗吉尼亞州一座叫紐斯特的小城最東邊。來到之後，安發現這裡的環境比哈特福德更糟糕，光天化日之下就能見到毒品交易和槍戰。在安18歲那年，她得到了醫院賠償給她母親的3818美元，但這沒能維持多久。隨後，安和弗里曼又有了兩個女兒———1979年出生的布蘭蒂和1991年出生的莉莎（正是由於莉莎的病情，艾弗遜才在1996年下定決心加盟NBA的）。
他們的家境愈發窘迫，安不得不四處打工維持生機：當過祕書，開過叉車，搞過電焊。艾弗遜回憶說：“只要是能夠掙錢的工作，安都會去做，不過家裡還是一團糟，沒電、沒水、沒吃的，下水管還經常破裂，弄得滿屋髒水，兩個妹妹整天都穿著套鞋。”弗里曼本來還有一份工作，但在1988年的一起交通意外後被解僱了，他的確很想負擔起這個家庭，只不過他出入監獄的次數實在是太頻繁了。1991年，他因為攜帶過量毒品被捕，他在法庭辯解說：“我沒有卡迪拉克汽車，沒有鑽戒，沒有買任何奢侈品，我只想還債，只想支撐我的家庭。”他最終被判入獄22個月，其後又因為違反假釋條例加刑23個月。
那段時間，艾弗遜對弗里曼的所作所為感到異常憤怒，但現在卻原諒他了：“他只是想養家餬口。他沒有傷害過任何人，比如他，絕對不會去搶劫，因為那樣他會失去這個家。我曾經見到他一個人偷偷哭泣，他不想那樣過日子。”其實，對艾弗遜而言，更重要的是，弗里曼是他的籃球啟蒙者。
生父拋棄了他們，養父又進了監獄，15歲的艾弗遜不得不放棄了學業。“當你成為家中最年長的男人，而母親比你大不了多少，你還有兩個年幼的妹妹時，家裡又陰暗又潮溼，你就會知道自己應該做什麼了。”外面的生活對年幼的艾弗遜也不容易，貧民區裡有著上流社會永遠不會理解的遊戲規則。艾弗遜的朋友有的販過毒，有的坐過牢，有的加入了黑幫，但他總能成功地遠離那些犯法的事件，因為他知道，也許有一天自己能走向成功。
在一場械鬥中，艾弗遜一下子失去了8個朋友，包括和他最要好的託尼。他咬著牙對母親說：“媽媽，我再也不要做窮人了！”於是，他定下了一個幫助全家走出困境的計劃，那就是籃球！在一次接受採訪時，艾弗遜道出了那時的想法：“為了全家，我必須成功。周圍的人告訴我說去NBA的機會只有萬分之一，我回答他們說，‘即使失敗了，我也必須嘗試，我的家人需要我這麼做。’我為我們描繪了美好的生活，我不要再回到那個髒水四溢的廉價公寓裡去。”