Guerilla Disco — первый альбом Quarashi с новым рэпером Tiny. Первоначально альбом должен был называться Payback (название открывающего трека), но позже название было изменено на Guerilla Disco , название старого инструментала Quarashi. Это пятый и последний студийный альбом перед распадом группы 5 августа 2005 года.
3 января 2003 года Quarashi объявили, что их ведущий вокалист, Hossi, уходит. В середине 2003 года рэпер Opee присоединился достаточно надолго, чтобы выпустить "Mess It Up", которая стала большим хитом в Исландии тем летом. Он также сделал несколько других песен с ними, включая "Shady Lives, Orð Morð" и другие демо. Позже в том же году группа объявила, что к ней присоединился рэпер Tiny, и анонсировала новую песню для скачивания.
Quarashi продолжал работать над альбомом в течение 2004 года. Первым официальным синглом, выпущенным для Guerilla Disco, был "Stun Gun", который был популярен в Исландии. Альбом был выпущен в ноябре 2004 года в Исландии и, после заключения сделки с Sony Japan, в марте 2005 года в Японии. Обложку японского релиза разработал Омар Сварез, участник группы. Группа распалась через несколько месяцев после японского релиза.