Im Jahre 1912 stehen Robert Crawley (Hugh Bonneville), der Graf von Grantham und ansässig auf dem Landsitz "Downton Abbey" und seine Gemahlin Cora (Elizabeth McGovern) vor einem Erbfolgeproblem. Die beiden haben drei Töchter, aber keinen Sohn, dem der Titel laut Gesetz zufallen würde. Deswegen soll die älteste Tochter Mary (Michelle Dockery) einen Cousin der Familie, Robert, heiraten, damit der Titel in Adelskreisen verbleibt und das Familienvermögen ebenfalls, das als Mitgift in die Ehe einfließen würde. Doch Robert stirbt beim Untergang der Titanic, womit der Titel an einen Cousin dritten Grades, Matthew Crawley (Dan Stevens) fällt. Der ist jedoch ein Bürgerlicher, Anwalt und mit adeligen Landleber weder vertraut, noch wird er davon angezogen. Während Roberts Mutter Violet (Maggie Smith) dieses Erbrecht am liebsten anfechten würde, sieht Robert die Notwendigkeit, sein Lebenswerk, den Landsitz zu erhalten und erkennt Matthew als seinen Nachfolger an. Der findet zunehmend Gefallen an seinen neuen Pflichten und auch an Mary, die jedoch zwischen Stand und Gewöhnung und Pflicht hin- und hergerissen ist und sich nicht verkaufen will. Ihre Schwester Edith (Laura Carmichael), eine eher graue Maus, lebt in ständiger Rivalität, während die jüngste Tochter Roberts, Sybil (Jessica Brown Findley) sich zu einer Frauenaktivistin wandelt.