The Drums remonte à une amitié d'enfance entre Jonathan Pierce et Jacob Graham qui se sont rencontrés dans un camp d'été. Ils forment le groupe Goat Explosion alors qu'ils sont encore à l'école secondaire. Le groupe se sépare éventuellement et les deux amis se consacrent à d'autres projets. Graham fait partie du groupe Horse Shoes pendant que Pierce fonde le groupe new wave Elkland qui lance l'album Golden en 2005. La même année, Pierce quitte la formation et décide de prendre une pause de la musique.
En 2008, les deux amis se retrouvent et commencent à composer ensemble. Ils décident, en 2009, de quitter la Floride pour s'installer à New York et ajoutent Adam Kessler à la guitare, celui-ci ayant fait partie d'Elkland avec Pierce. Le batteur Connor Hanwick joint ensuite les rangs et le groupe commence à se faire un nom sur la scène locale. Le mini album Summertime! est lancé à la fin de 2009 sur l'étiquette Moshi Moshi qui édite, en 2010, le premier album éponyme de la formation. Kessler quitte peut de temps après.
Outils: