Kayılar devletsiz ve töresiz kalmış, hem Moğollar hem de Abbasiler tarafından hedef haline gelmiş İran coğrafyasında varlıklarını devam ettirmek yerine Gaza etmek ve Anadolu’da kurulmuş ve giderek güçlenmekte olan Anadolu Selçuklu Devleti’ne yakın olabilmek maksadıyla Anadolu’ya göç etmeye karar verdiler. Anadolu göçlerindeki ilk durakları Ahlat oldu (1191). Burada çok kısa süre kalan Kayılar, ardından önce Erzurum’a sonra ise Erzincan’a yerleştiler. Ahlat, Erzurum, Erzincan hattı Anadolu Selçuklu Devleti ile Harzemşahlar devleti arasında sınır hattı durumundaydı. Doğusunda Harzemşahlar Moğol akınlarına karşı koymaya, Batısında Anadolu Selçuklu Devleti Anadolu’daki hâkimiyetini güçlendirmeye ve Haçlı seferlerine karşı koymaya çalışıyordu. Kayılar ne Anadolu Selçuklularına ne de Harzemşahlara tabi olmadılar ve kendi kaderlerini kendileri tayin etme gayretine giriştiler. Yaklaşık 30 yıl boyunca Erzurum ve Erzincan’da yaylayıp kışladılar ancak geçirdikleri onca zamana rağmen umduğunu bulamayan Süleyman Şah, asıl vatanı olarak gördüğü Türkistan coğrafyasına geri dönmeye karar verdi. Genç ve kahraman bir bey olarak ayrıldığı Türkistan’a şimdi yaşlanmış, ömrünün son demlerini yaşayan bir bey olarak geri dönüyordu.

Kayılar, göçlerini vaktiyle Türkistan’dan göç ettikleri Tebriz - Ahlat istikameti üzerinden değil güneyden Fırat nehri ve Halep vilayeti güzergahından gerçekleştirdiler ve Halep vilayeti yakınlarında bulunan Caber kalesi yakınlarına kadar ilerlediler. Göç istikametleri gereği Fırat nehrini geçmek zorunda olan Kayılar, sığ gibi görünen bir boğazdan nehri geçmeye karar verdiler. Öncü birlikler nehri geçemeyince durumu Süleyman Şah’a bildirdiler. Süleyman Şah nehri kontrol etmek için atını nehre sürdü ancak at sendeleyince nehre düştü ve boğularak hayatını kaybetti. Süleyman Şah, sudan çıkartılarak Caber kalesi yakınlarında nehir kenarına defnedildi. Bu bölge sonradan Türk Mezarı olarak anılmıştır. Günümüzde Süleyman Şah türbesi olarak geçen anıt mezarın bu bölgede bulunması hasebiyle Kayı beyi Süleyman Şah’a ait olduğu düşünülmektedir.

Süleyman Şah’ın vefatı üzerine Kayı boyunun dirliği bozuldu. Yaklaşık 70.000 çadır büyüklüğünde olan Kayı boyu içerisindeki en kalabalık kitleyi Türkistan’da Süleyman Şah’a tabi olan Türkmen ve Tatarlar oluşturuyordu. Süleyman Şah’ın ölümü üzerine bu kitle Kayılardan ayrılarak Şam’a doğru göç ettiler. Günümüzde Şam Türkmenleri olarak varlıklarını devam ettiren topluluk Kayılardan ayrılan Türkmen-Tatar kitlelerin ardıllarıdırlar. Türkmen ve Tatarların ayrılmasından sonra geriye kalan ve Kayı neslinden olanlar Süleyman Şah’ın 3 büyük oğluna uydular. Aslında Süleyman Şah’ın 4 oğlu vardı. Yetişkin olan oğulları Sungur Tigin, Gündoğdu bey, Ertuğrul Bey Kayı boyuna önderlik ettiler. En küçük kardeş olan Dündar ise henüz çocuk yaşta olduğu için ağabeylerine uymuştur.

Türkmen ve Tatarların ayrılmasından sonra Türkistan’a göç etmekten vaz geçen Kayılar, geldikleri güzergâhı izleyerek yine Fırat nehri üzerinden Erzurum’a geri döndüler. Pasin Ovasında bulunan Sürmeli Çukuru mevkiinde kışladılar. Ancak bu birliktelikte uzun sürmedi. Süleyman Şah’ın en büyük oğlu olan Sungur Tigin ve onun bir küçüğü olan Gündoğdu Bey, Süleyman Şah’ın ölümü üzerine yarım kalan Türkistan göçünü tamamlamaya karar verdiler. Ertuğrul bey ise Türkistan’a dönmek yerine Anadolu’da kalıp gaza etmenin daha doğru olacağını düşündü. Bunun üzerine Kayı boyunun büyük bir bölümü, tigin olması hasebiyle Süleyman Şah’ın en büyük oğlu Sungur Tigine ve onunla birlikte hareket eden Gündoğdu beye biat ederek Türkistan’a doğru göç ettiler. Ertuğrul beye ise yalnızca 400 çadır, kardeşi Dündar ve annesi Hayme Sultan biat ederek Erzurum’da kalmıştır.

Kayılar Türkmenlerin, Tatarların ve Sungur Tigin’e biat edenlerin ayrılmaları ile küçülerek 70.000 çadırlık bir oymaktan 400 çadırlık bir obaya dönüştü. Artık kendi kaderlerini tayin edebilecek kadar güçlü değillerdi. Kışlayabilmek için bir hükümdara tabi olmaları, Gaza edebilmek içinse bir orduya mensup olmaları gerekiyordu. Zira birkaç yüz kişilik bir askeri güçle ancak başıboş çetelerle ve yağmacılarla baş edebilirlerdi.

Ertuğrul Bey hem obasını muhafaza edebileceği güvenli bir yurt edinmek hem de Gaza edebilmek için büyük oğlu Saru Yatı’yı Anadolu Selçuklu Devleti hükümdarı Alaeddin Keykubat’a elçi olarak gönderdi. Alaeddin Keykubat, Ertuğrul Beyin talebine müspet yanıt vererek Kayılara Söğüt vilayetini kışlak, Domaniç ve Ermenibeli dağlarını yaylak olarak tahsis etti. Kayılar artık Selçuklu Devletinin tebaası olarak yaşayacaklar, Selçuklu ordusu ile gaza edecekler ve Batı Anadolu’nun bereketli topraklarında hayatlarını devam ettireceklerdi. Kayılar önce Ankara’ya oradan Söğüt’e geçtiler. Söğüt bu tarihten sonra Kayıların kadim Yurtları haline geldi. Ertuğrul bey, Gazi unvanını aldı ve ömrünün sonuna dek Söğütte yaşadı. Savaşsız, uzun ve müreffeh bir ömrün ardından 1281 yılında, 90 yaşında vefat etti. Büyük Oğlu Osman bey tarafından inşa edilen türbesi Söğüt (Bilecik) ilçesinde bulunmaktadır.

Ertuğrul Gazi’nin vefatından sonra Kayıların başına büyük oğlu Osman Bey geçti.