Nama Karangrejo berasal dari bahasa Jawa: carang yang berarti cabang pohon bambu, dan rejo yang berarti keberuntungan atau kemakmuran. Secara istilah, karang berarti tanah lapang atau pekarangan, sedangkan rejo berarti untung. Dahulu wilayah ini adalah hamparan tanah luas yang ditumbuhi rumpun bambu.

Pendiri desa, Ki Culat, dimakamkan di bawah rerimbunan bambu di Dusun Karangrejo. Warisan itu masih hidup sampai sekarang: banyak warga bermata pencaharian membuat kerajinan bambu, baik berupa mainan maupun alat rumah tangga.

Pada masa penjajahan Belanda, desa ini berkembang menjadi 10 dusun yang bertahan hingga hari ini: Sangglud, Mlaten, Sejo, Karangbangkal, Janti, Kuwung, Bangkok, Karangrejo, Ngetal, dan Legupit.