Начальный этап
Лейбл был основан в 1980 году антрепренером музыкальной индустрии Дэвидом Геффеном, который в начале 1970ых создал Asylum Records, но позднее покинул его из-за поставленного диагноза рака. После выздоровления Геффен вернулся в бизнес и заключил сделку с Warner Bros. Records о создании Geffen Records. Warner полностью финансировали деятельность лейбла, а Дэвид Геффен получал 50 % от дохода.
Geffen Records подписали контракт с диско суперзвездой Донной Саммер, чей золотой альбом The Wanderer стал первым релизом лейбла в 1980. Далее последовал Double Fantasy Джона Леннона и Йоко Оно, полностью состоявший из нового материала, написанного Джоном за несколько лет. Спустя два дня после того, как альбом попал в чарты, Леннон был убит в Нью-Йорке.
В течение 1980ых Geffen Records продолжали подписывать известых артистов, таких как: Элтон Джон, Шер, Дон Хенли, Йони Митчел, Нил Янг и Питер Гэбриэл. К концу десятилетия компания прославилась на ниве рока благодаря успеху Whitesnake, Guns N' Roses и возвращению в мейнстрим семидесятников Aerosmith. Это побудило Геффена основать дочерний лейбл DGC Records, который сфокусировался на более прогрессивной музыке и позднее способствовал появлению альтернативного рока, столпами которого стали Nirvana, The Nymphs и Sonic Youth.

Приобретение компанией MCA
После десятилетия, проведенного под опекой Warner, когда сроки действия контракта закончились, Дэвид продал лейбл Music Corporation of America (позднее переименованной в Universal Music Group) в 1990 году. В конечном итоге, сделка принесла ему 1 миллиард долларов в ценных бумагах и наличности, а также трудоустройство до 1995. После продажи Geffen Records стали одним из ведущих, автономно управляющихся подразделений UMG. Уйдя с поста главы компании в 1995, Дэвид стал сотрудничать с Джеффри Каценбергом и Стивеном Спилбергом, организовал Dreamworks SKG, амбициозную мультимедиа-империю, занимающуюся кинематографом, телевидением, книгами и музыкой.

Interscope-Geffen-A&M
В 1998 UMG купили PolyGram, после чего произошла масштабная перетасовка лейблов в корпорации. Geffen Records вместе с A&M Records были слиты в Interscope Records. Тем не менее, Geffen Records продолжили отчасти самостоятельное существование, хотя и были уменьшены в размерах. Тем временем отделение DGC прекратило деятельность и было поглощено Interscope и Geffen.
К двухтысячному году, оставаясь зависимой от UMG компанией и, к тому же, занималя место ниже Interscope, Geffen Records продолжали делать успешный и стабильный бизнес. Настолько успешный, что в 2003 UMG присоединили к ним MCA Records. Хотя Geffen Records всегда были поп/рок лейблом, присоединение MCA Records означало серьезное расширение каталога музыкантов. Добавились бывшие подопечные MCA Mary J. Blige, Avant и Common. Тем временем Dreamworks Records были расформированы, а большая часть остатков поглощена Geffen.
Поглотив MCA и Dreamworks, Geffen Records продолжают расширять каталог такими мульти-платиновыми звездами, как Weezer, Эшли Симпсон, Snoop Dogg и The Game. Компания разрослась до такой степени, что сейчас существует на равных основаниях с Interscope, а в будущем, возможно, вновь станет 'главным лейблом' в составе UMG.