Στις 18 Ιανουαρίου 1996 εξελέγη Πρωθυπουργός από την Κοινοβουλευτική Ομάδα του ΠΑ.ΣΟ.Κ. μετά την παραίτηση του Ανδρέα Παπανδρέου από το αξίωμα για λόγους υγείας.
Στις 30 Ιουνίου 1996, στο 4ο Συνέδριο του ΠΑ.ΣΟ.Κ., λίγες μέρες μετά τον θάνατο του Ανδρέα Παπανδρέου, αναδείχθηκε πρόεδρος του κινήματος και με τη νίκη του ΠΑ.ΣΟ.Κ. στις κοινοβουλευτικές εκλογές της 22 Σεπτεμβρίου 1996 ανακηρύχθηκε πρωθυπουργός. Ως αρχηγός του ΠΑ.ΣΟ.Κ. κέρδισε και την επόμενη εκλογική αναμέτρηση στις 9 Απριλίου 2000.
Υπό τον Κώστα Σημίτη η χώρα προετοιμάστηκε ουσιαστικά για τη διοργάνωση των Ολυμπιακών Αγώνων του 2004.
Στις 7 Ιανουαρίου 2004 ανακοίνωσε την παραίτησή του από την προεδρία του ΠΑ.ΣΟ.Κ.. Στη θέση αυτή τον διαδέχθηκε ο Γιώργος Παπανδρέου την 8η Φεβρουαρίου 2004. Διετέλεσε πρωθυπουργός ως τις 10 Μαρτίου 2004.
Ρεκόρ πρωθυπουργίας
Το διάστημα της πρωθυπουργίας του (8 χρόνια και 2 μήνες από τον Ιανουάριο του 1996 έως τον Μάρτιο του 2004) αποτελεί ρεκόρ στην ιστορία του σύγχρονου Ελληνικού κράτους ως συνεχούς διαστήματος παραμονής στο αξίωμα του πρωθυπουργού, ξεπερνώντας το αντίστοιχο του Ανδρέα Παπανδρέου (7 χρόνια και 9 μήνες από τον Οκτώβριο του 1981 έως τον Ιούλιο του 1989).
Είναι ακόμη αξιοσημείωτο ότι στο ξεκίνημα αλλά και στο πέρας της πρωθυπουργίας του, δεν ήταν ταυτόχρονα και αρχηγός του πλειοψηφούντος στη βουλή κόμματος, κάτι πρωτόγνωρο για τα σύγχρονα κοινοβουλευτικά χρονικά. Κατά τους 5 πρώτους μήνες της πρωθυπουργίας του πρόεδρος του ΠΑΣΟΚ ήταν ο Ανδρέας Παπανδρέου και κατά τον τελευταίο μήνα, ο Γιώργος Παπανδρέου.
