Từ năm 1936 đến năm 1937, đồng chí tham gia phong trào sinh viên Huế, Hà Nội.
Từ năm 1938 đến năm 1940, đồng chí tham gia Tổ chức thanh niên dân chủ, rồi Thanh niên phản đế ở Trường Trung học Nam Định, là Bí thư Đoàn Thanh niên phản đế Nam Định. Đồng chí được kết nạp vào Đảng Cộng sản Việt Nam năm 1939.
Từ năm 1940 đến năm 1945, đồng chí bị thực dân Pháp bắt và giam giữ tại các nhà tù ở Nam Định, Hỏa Lò (Hà Nội), Sơn La, Khám Lớn (Sài Gòn), Côn Đảo.
Từ năm 1945 đến năm 1948, đồng chí ra tù tiếp tục hoạt động cách mạng và được bầu là Bí thư Thanh niên cứu quốc, sau đó là Trưởng ty Công an, Phó Bí thư Tỉnh ủy Cần Thơ.
Từ năm 1948 đến năm 1949, đồng chí là Trưởng ty Công an, sau đó là Phó Bí thư, rồi Bí thư Tỉnh ủy Mỹ Tho.
Từ năm 1950 đến năm 1952, đồng chí là Phó Giám đốc Sở Công an Nam Bộ, Phó Bí thư, Bí thư liên chi chính quyền Nam Bộ.
Từ năm 1952 đến năm 1954, đồng chí là Phó Giám đốc Sở Công an
Từ năm 1954 đến năm 1960, đồng chí là Phó ban, sau đó là Trưởng ban địch tình Xứ ủy Nam Bộ.
Từ năm 1958 đến năm 1960, đồng chí là Xứ ủy viên dự khuyết Xứ ủy Nam Bộ.
Từ năm 1960 đến năm 1965, đồng chí là Bí thư Khu ủy miền Đông Nam Bộ, Chính ủy Quân khu miền Đông Nam Bộ.
Từ năm 1965 đến năm 1975, đồng chí là Ủy viên Thường vụ, Phó Bí thư, Bí thư Thành ủy Sài Gòn - Gia Định, Chính ủy Quân khu Sài Gòn - Gia Định.
Từ năm 1975 đến năm 1976, đồng chí là Phó Bí thư, Phó Chủ tịch Ủy ban Quân quản Sài Gòn - Gia Định, Bí thư Đảng ủy, Giám đốc Sở Công an TP Hồ Chí Minh.
Tháng 12/1976, tại Đại hội Đảng toàn quốc lần thứ IV, đồng chí được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng, giữ chức Phó Bí thư thứ nhất Thành ủy, Phó Chủ tịch UBND TP Hồ Chí Minh, rồi Chủ tịch UBND TP Hồ Chí Minh (năm 1978).
Tháng 3/1982, tại Đại hội Đảng toàn quốc lần thứ V, đồng chí tiếp tục được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng, làm Phó Bí thư thứ nhất Thành ủy, Chủ tịch UBND TP Hồ Chí Minh.
Tháng 6/1985, đồng chí thôi giữ chức Chủ tịch UBND TP Hồ Chí Minh, làm Phó Bí thư Thường trực, rồi Bí thư Thành ủy TP Hồ Chí Minh.
Tháng 11/1986, đồng chí được Hội đồng Bộ trưởng bổ nhiệm giữ chức vụ Thứ trưởng thứ nhất Bộ Nội vụ (nay là Bộ Công an).
Tháng 12/1986, tại Đại hội Đảng toàn quốc lần thứ VI, đồng chí tiếp tục được bầu vào Ban Chấp hành Trung ương Đảng, được Trung ương bầu làm Ủy viên Bộ Chính trị.
Tháng 12/1987, đồng chí được Hội đồng Nhà nước bổ nhiệm giữ chức vụ Bộ trưởng Bộ Nội vụ (nay là Bộ Công an), là Bí thư Đảng ủy Công an Trung ương.
Tháng 5/1989, đồng chí được Nhà nước phong hàm Đại tướng An ninh nhân dân.
Đồng chí được bầu làm Đại biểu Quốc hội khóa VII, VIII. Ủy viên Hội đồng Quốc phòng khóa VIII.
Với những đóng góp to lớn cho sự nghiệp cách mạng của Đảng, của dân tộc và sự nghiệp bảo vệ an ninh Tổ quốc, đồng chí đã được Đảng và Nhà nước tặng thưởng Huân chương Sao vàng, Huy hiệu 60 năm tuổi Đảng, Huân chương Quân công hạng nhất, Huân chương Kháng chiến chống Pháp hạng nhất, Huân chương Kháng chiến chống Mỹ hạng nhất, Huân chương Vì An ninh Tổ quốc và nhiều phần thưởng cao quý khác của Đảng, Nhà nước và bạn bè quốc tế
