Skupina byla založena v Ajaxu, na předměstí Toronta v létě roku 1996. Prvními zakládajícími členy byli kytarista a zpěvák Deryck Whibley a bubeník Steve Jocz. Ještě téhož roku se ke kapele přidali kytarista Dave Baksh a baskytarista Mark Spicoluk. Ten se však v roce 1999 rozhodl přejít do kapely kanadské rockerky Avril Lavigne a nahradil ho Jay McCaslin (Cone). Toto složení mají Sum 41 i v současnosti. Všichni se znali už z místní střední školy, kde předtím působili v soupeřících kapelách. Měsíc po Conově příchodu se Sum 41 naskytla velká příležitost, kdy s nimi nahrávací společnost Island Records podepsala smlouvu.