严幼韵自幼生活在一个温馨和谐且富有文化氛围的大家庭里，从小喜爱学习，聪慧过人。他们兄弟姐妹很多，家里请了两位大学里的老师，一位教国文，一位教英文。尔后因全家迁居天津，严幼韵与其姐彩韵、莲韵先后在天津中西女校学习。

20世纪20年代，中国的高等教育尚在起步之中。1925年全国在校大学生总数为3万多人，而能进大学的女生更是凤毛麟角。严氏三姐妹先后考入高等学府，严彩韵（1902—1993）和严莲韵（1903—2004）分别于1921年和1924年毕业于金陵女大。严幼韵于1925年考入沪江大学，1927年转入复旦大学商科，她坐车牌号为84号的自备轿车去学校上课（她自己也会开车），一些男生就将英语Eighty Four念成沪语“爱的花”。当年复旦大学始有女生入学，开始男女同校，女生初进校门且人数又少，自然格外引人注目。严幼韵本来人就长得漂亮，父亲所开老九章绸布庄内的各种衣料随她挑，因此每天更换的服装总是最时髦的，当时红遍了整个校园。

严幼韵在复旦大学求学时，在一个舞会上认识了杨光泩。杨光泩（1900—1942）是湖州大丝绸商的子弟，1920年毕业于清华大学，后赴美留学，获普林斯顿大学国际法博士学位。在美国时曾以随员身份在中国驻美使馆工作。刚回国即作为专家参加中国代表团，出席了1925年在日内瓦举行的国际鸦片会议。他才华出众，一表人才，获得了严幼韵的倾心。