安藤忠雄甚有传奇性，年少时家境贫困，童年在木工作坊度过。在成为建筑师前，曾任货车司机及职业拳手（成绩：23战13胜3败7平手），其后在没有经过正统训练下成为专业的建筑师。正因为此，安藤素有“没文化的日本鬼才”之称。安藤忠雄是利用拳击比赛赢得的奖金，前往美国、欧洲、非洲、亚洲旅行，也顺便观察各地独特的建筑。那个时候，他的摄影作品被使用在建筑师路易·康的作品集中。 安藤忠雄是双胞胎中的的哥哥。双胞胎中的弟弟是北山孝雄，在东京开设北山创造研究所，经营企业经营顾问、商品设计。3兄弟中最小的弟弟是建筑师北山孝二郎（因为与美国建筑师彼得;爱森曼的合作而知名）。最初的建筑作品－Rose Garden（ローズガーデン、玫瑰花园；位在神户市生田区）是在1977年时，与弟弟孝雄所属的浜野商品研究所一起共同合作。

安藤忠雄自学建筑。1969年创立安藤忠雄建筑研究所。1976年完成位于大阪府的住吉长屋，是两层高的混凝土住宅，已显现其设计风格。其后获得日本建筑学会赏。1980年代参与关西周边地区（神户北野、大阪心斋桥）的商业建筑设计，1990年代以后，参与公共建筑、美术馆建筑等大型计划。