然而，没过多久，父母就开始失望了：人家的孩子都开始学说话了，已经三岁的爱因斯坦才“咿呀”学语。后来，爱因斯坦的妹妹，比他小两岁的玛伽已经能和邻居交谈了，爱因斯坦说起话来却还是支支吾吾，前言不搭后语……看着举止迟钝的爱因斯坦，父母开始忧虑。他们担心他的智能是否会不及常人。
直到10岁时，父母才把他送去上学。可是，在学校里，爱因斯坦受到了老师和同学的嘲笑，大家都称他为“笨家伙”。学校要求学生上下课都按军事口令进行，由于爱因斯坦的反应迟钝，经常被教师呵斥、罚站。有的老师甚至指着他的鼻子骂：“这鬼东西真笨，什么课程也跟不上!”
一次工艺课上，老师从学生的作品中挑出一张做得很不像样的木凳对大家说：“我想，世界上也许不会有比这更糟糕的凳子了!”在哄堂大笑中，爱因斯坦红着脸站起来说：“我想，这种凳子是有的!”说着，他从课桌里拿出两个更不像样的凳子，说：“这是我前两次做的，交给您的是第三次做的，虽然还不行，却比这两个强得多!”一口气讲了这么多话，爱因斯坦自己也感到吃惊。老师更是目瞪口呆，坐在那里不知说什么好。
在讥讽和侮辱中，爱因斯坦慢慢地长大了，升入了慕尼黑的卢伊特波尔德中学。在中学里，他喜爱上了数学课，却对其余那些脱离实际和生活的课不感兴趣。孤独的他开始在书籍中寻找寄托，寻找精神力量。就这样，爱因斯坦在书中结识了阿基米德、牛顿、笛卡尔、歌德、莫扎特……书籍和知识为他开拓了一个更广阔的空间。视野开阔了，爱因斯坦头脑里思考的问题也就多了。
一天，他对经常辅导他数学的舅舅说：“如果我用光在真空中的速度和光一道向前跑，能不能看到空间里振动着的电磁波呢?”舅舅用异样的目光盯着他看了许久，目光中既有赞许，又有担忧。因为他知道，爱因斯坦提出的这个问题非同一般，将会引起出人意料的震动。此后，爱因斯坦一直被这个问题苦苦折磨着。1895年秋天，爱因斯坦经过深思熟虑，决定报考瑞士苏黎士大学。可是，他却失败了，他的外文不及格。落榜后的他没有气馁，参加了中学补习。
一年以后，他获得了中学补习合格证书，并且考入了苏黎士综合工业大学。这时的他，已经在为自己的未来做准备了。他把精力全部用在课外阅读和实验室里。教授们看见他读和学习无关书、做和考分无关的试验，非常不满和生气，认为他“不务正业”。
爱因斯坦大学毕业时，正赶上经济危机爆发，由于他是犹太人血统，又没有关系，没有钱，所以只好失业在家。为了生活，他只好到处张贴广告，靠讲授物理获得每小时3法郎的生活费。这段失业的时间，给了爱在斯坦很大的帮助。在授课过程中，他对传统物理学进行了反思，促成了他对传统学术观点的猛烈冲击。经过高度紧张兴奋的五个星期的奋斗，爱因斯坦写出了9000字的论文《论动体的电动力学》，狭义相对论由此产生。
可以说，这是物理学史上的一次决定性的、伟大的宣言，是物理学向前迈进的又一里程碑。