B-Sides & Rarities – album kompilacyjny wydany w marcu 2005 przez zespół Nick Cave and the Bad Seeds. Płyta zawiera kolekcję nagrań zebranych w prawie 20 letniej historii zespołu ze stron B większości singli oraz z utworów wcześniej nie publikowanych. Do takich należą na przykład nagrania z udziałem Shane'a MacGowana oraz akustyczne wersje utworów „Deanna” czy „The Mercy Seat”. Jest to także jedyne wydawnictwo w którym uczestniczyli wszyscy członkowie Bad Seeds, byli oraz obecni czyli: Nick Cave, Mick Harvey, Blixa Bargeld, Thomas Wydler, Martyn P. Casey, Conway Savage, Jim Sclavunos, Warren Ellis, Barry Adamson, Kid Congo Powers, James Johnston, Roland Wolf oraz Hugo Race.
Spis utworów Wszystkie piosenki autorstwa Nicka Cave'a, chyba że napisano inaczej. Dysk 1 „Deanna (Wersja Akustyczna)” - 2:51 Akustyczna wersja utworu zawartego na albumie 'Tender Prey' załączona jako bonus w postaci 7" krążka winylowego do pierwszych edycji tego albumu w roku 1990 Cave - Śpiew Harvey - Gitara, Śpiew Wydler - Instrumenty Perkusyjne Congo Powers, Bargeld, Wolf - Klaskanie, Śpiew „The Mercy Seat (Wersja Akustyczna)” - 3:45 (Cave/Cave, Harvey) Akustyczna wersja utworu zawartego na albumie 'Tender Prey' załączona jako bonus w postaci 7" krążka winylowego do pierwszych edycji albumu w roku 1990 Cave - Śpiew Harvey - Gitara, Śpiew Wolf - Pianino Bargeld - Śpiew „City of Refuge (Wersja Akustyczna)” - 2:42 Akustyczna wersja utworu zawartego na albumie 'Tender Prey' załączona jako bonus w postaci 7" krążka winylowego do pierwszych edycji albumu w roku 1990 Cave - Śpiew Harvey - Gitara, Śpiew Bargeld, Wydler, Congo Powers, Wolf - Klaskanie, Śpiew „The Moon is in the Gutter” - 2:35 strona B singla 'In the Ghetto' z 1984 Cave - Śpiew, Pianino Bargeld - Gitara Race - Gitara Adamson - Gitara Basowa Harvey - Perkusja „The Six Strings that Drew Blood” - 4:47 strona B singla 'Tupelo' z 1985 Cave - Śpiew, Gwizdanie Harvey - Gitara, Gitara Basowa, Syntezator Bargeld - Gitara „Rye Whiskey” - 3:27 (Trad-Arr: Cave/Harvey) Pierwotnie utwór zawarty na flexidysku wydanym z magazynem Reflex w 1989 Cave - Śpiew, Harmonijka Harvey - Gitara Akustyczna, Perkusja Race - Gitara Tracy Pew - Gitara Basowa „Running Scared” - 2:06 (Orbison/Melson) strona B singla 'The Singer' z 1986 Cave - Śpiew Harvey - Perkusja, Aranżacje smyczkowe Race - Gitara Tracy Pew - Gitara Basowa „Black Betty” - 2:32 (Leadbelly) strona B singla 'The Singer' z 1986 Cave - Śpiew Harvey - Perkusja, Śpiew Bargeld - Śpiew „Scum” - 2:53 (Cave/Cave, Harvey) Flexidysk sprzedawany podczas koncertów w 1986 Cave - Śpiew Bargeld - Gitara Harvey - Gitara Basowa Wydler - Perkusja „The Girl at the Bottom of My Glass” - 4:48 strona B singla 'Deanna' z 1988 Cave - Śpiew, Gitara Harvey - Perkusja, Śpiew Tony Cohen - Śpiew „The Train Song” - 3:26 strona B singla 'The Ship Song' z 1990 Cave - Śpiew, Pianino Harvey - Gitara Akustyczna, Gitara Basowa Bargeld - Gitara Congo Powers - Gitara Tremolo Wydler - Perkusja Harvey & Bill McGee - Aranżacje smyczkowe „Cocks 'N' Asses” - 5:43 (Cave/Cave, Van Vugt) strona B singla 'The Weeping Song' z 1990 Cave - Pianino, Śpiew, Syntezator Smyczkowy Harvey - Gitara, Efekty Dźwiękowe Victor Van Vugt - Automat Perkusyjny „Blue Bird” - 2:46 strona B singla 'Straight to You / Jack the Ripper' w 1992 Cave - Śpiew, Pianino, Organy Hammonda Harvey - Marimba Casey - Gitara Basowa Wydler - Perkusja „Helpless” - 3:51 (Young) Z płyty Neil Young Tribute/Charity Album 'The Bridge' z 1989. Także strona B singla 'The Weeping Song' z 1990 Cave - Śpiew, Syntezator Harvey - Gitara Akustyczna, Gitara Basowa, Organy, Perkusja, Śpiew Congo Powers - Gitara Slide Bronwyn Adams - Śpiew „God's Hotel” - 3:07 Nagranie na żywo dla radia KCRW Santa Monica. Wydano na składance 'Rare on Air Vol. 1', Mammoth Records, 1992 Cave - Śpiew Harvey - Gitara Akustyczna Bargeld - Gitara Slide Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja „(I'll Love You) Till the End of the World” - 3:58 Z płyty 'Until The End Of The World' soundtrack do filmu o tym samym tytule z 1991. Także strona B singla 'Loverman' z 1994 Cave - Śpiew, Pianino Bargeld - Gitara Harvey - Gitara Akustyczna, Gitara Basowa, Aranżacje smyczkowe Wydler - Perkusja Bronwyn Adams - Skrzypce „Cassiel's Song” - 3:35 Z płyty 'Faraway, So Close' soundtrack do filmu o tym samym tytule z 1993. Także strona B singla 'Do You Love Me?' z 1994 Cave - Śpiew, Pianino Adamson - Gitara Basowa, Timpani Harvey - Aranżacje smyczkowe „Tower of Song” - 5:39 (Cohen) Z płyty Leonard Cohen tribute 'I'm Your Fan', 1991 Cave - Śpiew Harvey - Gitara Bargeld - Gitara, Śpiew Casey - Gitara Basowa Wydler - Perkusja „What Can I Give You?” - 3:40 Z darmowej płyty promocyjnej wydanej we Francji dołączanej do albumu 'Henry’s Dream' w 1992 Cave - Śpiew, Pianino Harvey - Gitara Akustyczna Savage - Pianino Elektryczne Casey - Gitara Basowa Wydler - Perkusja
Dysk 2 „What a Wonderful World” - 3:04 (Weiss/Douglas) Z singla 'What a Wonderful World', 1992 Cave - Śpiew Shane MacGowan - Śpiew Harvey - Gitara Akustyczna Bargeld - Gitara Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja Bill McGee - Aranżacja „Rainy Night in Soho” - 3:58 (MacGowan) Z singla 'What a Wonderful World', 1992 Cave - Śpiew Harvey - Gitara Akustyczna, Wibrafon Bargeld - Gitara Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja Harvey & Bill McGee - Smyczki oraz Aranzacje „Lucy (Version #2)” - 2:23 Z singla 'What a Wonderful World', 1992 MacGowan - Śpiew Cave - Pianino, Śpiew Harvey & Bill McGee - Aranżacje smyczkowe „Jack the Ripper (Wersja Akustyczna)” - 4:45 strona B singla w limitowanej wersji 7" 'Straight to You / Jack the Ripper', 1992 Cave - Śpiew Harvey - Gitara Akustyczna Bad Seeds - Śpiew, Instrumenty Perkusyjne „Sail Away” - 4:13 strona B singla 'Do You Love Me?' z 1994 Cave - Śpiew, Organy Hammonda Harvey - Marimba Savage - Śpiew Casey - Gitara Basowa Wydler - Perkusja „There's No Night Out in the Jail” - 3:43 (John Harold Ashe) Nagrano w 1993 na płytę mającą zawierać tradycyjne australijskie utwory w nowoczesnych wersjach. Płyta nigdy nie została wydana. Cave - Śpiew, Harmonijka Harvey - Organy, Gitara Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja „That's What Jazz is to Me” - 5:05 (Cave/Cave, Harvey, Savage, Wydler) strona B singla 'Red Right Hand' z 1994 Cave - Śpiew, Pianino Savage - Organy Hammonda Harvey - Gitara Basowa Wydler - Perkusja „The Willow Garden” - 3:59 (Trad-Arr: Cave/Ellis) strona B singla 'Where the Wild Roses Grow' z 1995 Savage - Śpiew, Pianino Cave - Organy Hammonda Ellis - Skrzypce Casey - Gitara Basowa Harvey - Cymbały „The Ballad of Robert Moore and Betty Coltrane” - 3:35 strona B singla 'Where the Wild Roses Grow' z 1995 Cave - Śpiew, Organy Hammonda, Pianino, Efekty Dźwiękowe Harvey - Gitara Akustyczna Casey - Gitara Basowa Wydler - Perkusja, Instrumenty Perkusyjne Terry Edwards - Brass Section „King Kong Kitchee Kitchee Ki-Mi-O” - 3:10 (Trad-Arr: Cave) strona B singla 'Henry Lee' z 1996 Cave - Śpiew Bargeld - Gitara Ellis - Skrzypce Race - Gitara Casey - Gitara Basowa Wydler - Perkusja Sclavunos, Tony Cohen, Astrid Munday - Instrumenty Perkusyjne „Knoxville Girl” - 3:36 (Trad-Arr: Cave/Johnston) strona B singla 'Henry Lee', 1996 Cave - Śpiew Johnston - Gitara „Where the Wild Roses Grow" - 3:47 Wersja z wokalem prowadzącym w wykonaniu z roku 1995 Blixy Bargelda. Nigdy wcześniej nie wydana. Bargeld - Śpiew, Gitara Cave - Śpiew, Pianino Harvey - Gitara, Śpiew Casey - Gitara Basowa Savage - Pianino Wydler - Perkusja Sclavunos - Dzwony Rurowe „O’Malley's Bar Pt. 1” - 5:16 Z nagrania do audycji Marka Radcliffe'a z Radio 1, 1996 Cave - Śpiew Harvey - Pianino Savage - Organy Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Werbel „O’Malley's Bar Pt. 2” - 6:38 Z nagrania do audycji Marka Radcliffe'a z Radio 1, 1996 Cave - Śpiew Harvey - Pianino Savage - Organy Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Werbel „O’Malley's Bar Pt. 3” - 4:57 Z nagrania do audycji Marka Radcliffe'a z Radio 1, 1996 Cave - Śpiew Harvey - Pianino Savage - Organy Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Werbel „Time Jesum Transeuntum Et Non Riverentum” - 6:22 (Cave/Cave, Ellis, Turner, White) Z udziałem zespołu Dirty Three. Ukryty utwór na albumie Songs in the Key of X z 1996 Cave - Śpiew, Pianino Ellis - Skrzypce Mick Turner - Gitara Jim White - Perkusja „O’Malley's Bar Reprise” - 1:03 Z nagrania do audycji Marka Radcliffe'a z Radio 1, 1996 Cave - Śpiew Harvey - Pianino Savage - Organy Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Werbel „Red Right Hand” - 6:01 (Cave/Cave, Harvey, Wydler) Z nagrania do filmu Krzyk 3. Poprzednio nie wydane, 1999 Cave - Śpiew, Organy Hammonda Harvey - Gitara Bargeld - Gitara Casey - Gitara Basowa Wydler - Perkusja, Instrumenty Perkusyjne Adamson - Orchestral Arrangement
Dysk 3 „Little Empty Boat” - 4:26 (Cave/Cave, Bargeld, Casey, Harvey) strona B singla 'Into My Arms', 1997 Cave - Śpiew, Pianino Harvey - Gitara, Organy Bargeld - Gitara, Śpiew Casey - Gitara Basowa, Śpiew Wydler - Perkusja, Śpiew Sclavunos - Instrumenty Perkusyjne Ellis - Skrzypce „Right Now I'm A-Roaming” - 4:21 (Cave/Cave, Casey, Harvey, Savage, Wydler) strona B singla 'Into My Arms', 1997 Cave - Śpiew, Syntezator Harvey - Organy, Gitara, Śpiew Bargeld - Gitara, Śpiew Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Dzwonki „Come Into My Sleep” - 3:47 strona B singla '(Are You) The One That I've Been Waiting For', 1997 Cave - Śpiew Harvey - Ksylofon, Gitara, Organy Bargeld - Gitara Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Bongos „Black Hair (Wersja zespołu)” - 4:13 strona B singla '(Are You) The One That I've Been Waiting For', 1997 Cave - Śpiew, Pianino Sclavunos - Organy Casey - Gitara Basowa Wydler - Perkusja „Babe, I Got You Bad” - 3:51 strona B singla '(Are You) The One That I've Been Waiting For', 1997 Cave - Śpiew Harvey - Gitara, Organy Bargeld - Gitara Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Tamburyn „Sheep May Safely Graze” - 4:14 Niewydane nagranie studyjne, 1996 Cave - Śpiew Harvey - Gitara Bargeld - Gitara Savage - Pianino Casey - Gitara Basowa „Opium Tea” - 3:48 (Cave/Savage) Niewydane nagranie studyjne, 1996 Cave - Śpiew, Organy Hammonda Savage - Pianino Casey - Gitara Basowa Wydler - Perkusja „Grief Came Riding” - 5:05 Z limitowanego wydania albumu 'No More Shall We Part', 2001 Cave - Śpiew, Pianino Harvey - Gitara Casey - Gitara Basowa Wydler - Perkusja Kate & Anna McGarrigle - Śpiew „Bless His Ever Loving Heart” - 4:02 Z limitowanego wydania albumu 'No More Shall We Part', 2001 Cave - Śpiew, Pianino Harvey - Gitara Ellis - Skrzypce Casey - Gitara Basowa Wydler - Perkusja Kate & Anna McGarrigle - Śpiew „Good Good Day” - 4:04 strona B singla 'As I Sat Sadly By Her Side', 2001 Cave - Śpiew, Pianino Harvey - Gitara Bargeld - Gitara Casey - Gitara Basowa Wydler - Perkusja Sclavunos - Tamburyn „Little Janey's Gone” - 2:59 strona B singla 'As I Sat Sadly By Her Side', 2001 Cave - Śpiew, Pianino Harvey - Gitara Bargeld - Gitara Ellis - Skrzypce Casey - Gitara Basowa Wydler - Perkusja „I Feel So Good” - 1:44 (Lenoir) Z filmu 'The Soul of a Man' by Wima Wendersa, 2003 Cave - Śpiew, Organy Hammonda Harvey - Gitara, Śpiew Savage - Pianino, Śpiew Sclavunos - Perkusja „Shoot Me Down” - 3:32 strona B singla 'Bring It On', 2003 Cave - Śpiew, Pianino Harvey - Gitara, Organy Hammonda Ellis - Skrzypce Casey - Gitara Basowa Wydler - Perkusja Blockheads - Śpiew „Swing Low” - 5:40 strona B singla 'Bring It On', 2003 Cave - Śpiew, Organy Hammonda