愛因斯坦的第壹任妻子米列娃·馬裏奇出生在塞爾維亞（當時屬奧匈帝國）。1901年前後，愛因斯坦結識了同在大學攻讀物理學博士學位的塞爾維亞姑娘米列娃。相同的誌趣，彼此的愛慕，使得兩個年輕人很快墜入愛河。1902年，米列娃未婚生下女兒小莉色兒。由於愛因斯坦的工作沒有著落，他們將女兒托人收養。1903年他們結婚，婚後又生了兩個兒子。由於性格不合，1919年他們離婚。
與米列娃離婚後不久，愛因斯坦很快就與自己的堂姐愛爾莎結婚。愛爾莎（1876～1936）是愛因斯坦的表姐，從小就與愛因斯坦相熟。1896年，她嫁給了壹個紡織業主，生下了兩個女兒，1908年離婚。1912年，她與愛因斯坦取得聯系，不久他們之間的關系發展為戀愛關系。 這段婚姻，無論從誌趣上還是情趣上都談不上，而更像是“姐弟戀”。愛爾莎的修養、智商、舉止、談吐絕非是愛因斯坦所喜歡的那種女人，但她處處關愛愛因斯坦，照料他的飲食起居。她毫不隱諱做偉人妻子的驕傲和滿足。盡管這是壹段令很多人都不看好的婚姻，卻壹直維持了將近20年，直至愛爾莎病逝。