嘉康杰被誉为“晋南著名的教育家”，1921年归国后，一心从事平民教育，先后共创有1所小学和6所中学，在学生的心灵中播撒新思想、新文化的种子，培养了优秀革命青年三千余人，为河东地区的革命运动奠定思想基础。

1921年3月嘉康杰回到夏县在他的老家其毋村的嘉家祠堂办起了一所“以太”小学，这是他筹办的第一所私立学校。意义在于希望这个学校培养的学生，起到“以太”（煤质）的作用，传播新思想，实现他教育救国的目的。“以太”小学，招收同族和邻里子弟入学，嘉康杰以自己在北京及日本学到或看到的新知识、新文化为主要内容对学生进行启蒙教育。他办学还有另外一个目的，就是防止对蒙童进行“奴化教育”。“以太”小学虽然创办时间不长，但是他用新教材、新思想启迪蒙童，在反封建、反奴化方面，在夏县一带颇有影响。

1922年端午节过后，嘉康杰抱着一颗赤热的心，立志办一所中学，校址选在堆云洞古庙里。一位姓蔡的朋友捐出百元现大洋资助办学，嘉康杰使用这笔钱置办了桌椅板凳和教具教材，并起草了招生简章贴到夏县及附近各县。

学校起名“平民中学”。故名思义，平民者非达官贵人也。招收的是普普通通的老百姓子弟。这是二十年代中国进步爱国的知识分子极力倡导的一件新鲜事。李大钊于1919年2月，在北京《晨报》上发表《劳动与教育的问题》，大力呼吁多设劳工补助教育机关，使一般劳动的人也有均等的机会去读书、看报、补习技能和修养精神；邓中夏发起“平民教育演讲团”，通过演讲和出版刊物等形式，在城乡开展平民教育活动，以“增进平民知识，唤起平民自觉心”。持教育救国的知识分子们认为，“不先有平民教育，哪能行平民政治？”全国二十多个省都办起了平民学校、平民读书处和平民问事处，还编写了“平民千字”课本作为平民学校读本。

嘉康杰邀请辛亥革命元老、留日学生景梅九先生为名誉校长，请尉之嘉、徐亚桑、崔斗臣、张吉臣、关绳武、雷江浦、吴中六等进步人士先后担任教员。他办学的宗旨是：培养人才，救国救民。招收对象是平民百姓子弟。招生简介中明文规定：“骑马坐轿的不要，穿长袍，戴礼帽的不要，欢迎平民子弟来校就读。”入学考试，嘉康杰亲自出作文题目是“平民自觉”。“平民中学”为广大劳苦大众的子弟上学开了绿灯，报名者剧增，原计划第一期招收学生140人，还有陕西、河南等外省来的。7月，夏县平民中学正式开学，这是继高君宇、邓中夏在太原创办的平民学校之后，山西又一所平民子弟学校。学校创办不久，嘉康杰还以学生组织的名义，创办了《平民》月刊。

平民中学的课程不同于一般的学校。思想教育、文化教育和劳动教育并重。为了拓宽学生的视野，嘉康杰办了读书处，购置了“商务印书馆”和“中华书局”出版的许多进步书刊，如孙中山、陈独秀、李大钊、鲁迅、郭沫若、胡适、达尔文、托尔斯泰、克鲁泡特金、普希金、易卜生等人的著作，以及《新青年》、《向导》、《工余》等杂志，还有中国古典名著《西游记》、《红楼梦》、《水浒传》《、二十年目睹之怪现状》、《官场现形记》等。

嘉康杰亲自给学生们讲授历史。对中国历史，他不是简单的叙述中国历代王朝的兴亡，而是着重讲封建统治者是怎样残酷的剥削农民，历代农民起义成败的原因以及改革家们的思想，启发学生们爱国热情和反叛的思想。嘉康杰重视培养学生的劳动观念和群众观念。“四肢不勤，五谷不分”，“三年洋学生，不认爹和娘”，这是对剥削阶级培养出来的学生的写照。嘉康杰培养的学生热爱劳动，尊重劳动人民。他在创办平民中学之初，就亲笔书写了“劳工神圣”的牌匾，悬挂在教室里，对学生以示训戒。他带领学生们在课余时间开垦了八十余亩的荒地，每年收获粮食近两万斤，解决了伙食补助和办学经费的困难。他常以“生产劳动为资本，游手好闲是死坟”教诲学生。一度学校经费困难，数九寒天，北风怒吼，滴水成冰，无钱买炭生火，嘉康杰和学生们同甘共苦，度难关。

1925年，平民中学往运城胡家巷搬迁时他用自己家的大车和同学们一趟一趟的往返，直到把学校搬完。教师吴中六回忆这段历史时说：“康杰精神实在感人，我们这些应邀教书的人一年复一年，不雅工钱也心甘情愿的跟他干”。

平民中学从1922年创办到1925年查封，历时三年，用自筹资金的办法，培养了许多人才，其大部分都成为了革命的中坚力量。