На практика никой няма спомени от най-ранна детска възраст - но това не е защото не пазим информация за нашето детство, а защото мозъка в тази възраст функционира по различен начин и все още не преработва добитите данни в сложните нервни структури, които наричаме спомени.
Ясно е, че малките деца помнят факти, като например кои са техните родители, или че трябва да кажат "моля", преди да поискат нещо. Това се нарича "семантична памет."
През първите две до четири години обаче, децата нямат "епизодична памет" – паметта, отнасяща се към детайлите на определено събитие. Тези спомени се съхраняват в няколко части на мозъчната кора. Например, спомнените за звука се обработват в слуховия кортекс на мозъка, а визуалната памет се управлява от зрителния кортекс. Те се обединяват в хипоталамуса, който сформира спомените.
"Ако си представите, че мозъчната кора е поляна, покрита с цветя, хипоталамусът е този, който събира цветята и ги превръща в букет.”, обяснява Патриция Бауер от университета Емъри в Атланта. Паметта е „букет” от нервните структури и връзките между частите на мозъка, където се складират спомените.
А не си спомняме, че сме били бебета, защото хипоталамусът започва да свързва фрагментите от информация натрупани до момента приблизително между две и четири годишна възраст. Може би има причина за това забавяне, предизвикващо липсата на ранни спомени.
Според психологът Нора Нюкомб на Университета "Темпъл" във Филаделфия, епизодичната памет вероятно е ненужно сложна за развитието на детето, когато то просто се учи да открива света наоколо. Основната цел на първите две години е да се придобие семантично знание и от тази гледна точка, епизодичната памет би могла само да обърка този процес.