陶知行是最早发动平民教育运动者之一，1922年和朱其慧、晏阳初等发起组织中华平民教育促进会，亲自编写《平民千字课》课本，并亲自到一些省、县推行平民教育，开办平民学校。
20世纪20年代前后，中国内有封建军阀割据，外有帝国主义侵略，而封建军阀又勾结帝国主义来统治。在这样的社会中，单靠“用四通八达的教育，来创造一个四八达的社会”，是办不到的，也行不通的，因此，平民教育运动受到了挫折。这样一个现实问题，给予陶知行以深刻的教育。
三
陶知行在城市推行平民教育几年之后，得不到预期的效果，使他认识到中国教育改造，必须适应中国社会环境。当时，中国社会是“以农立国”，中国人口有八分之七在乡村，他认为改造乡村教育，普及农民教育，可以改造乡村社会，因此教育必须下乡，要开辟乡村教育的道路。1926年，中华教育改进社推动乡村教育运动，陶知行起草《中华教育改进社改造全国乡村教育宣言书》，并发表《中国乡村教育之根本改造》《我们的信条》等文章，推动乡村教育运动。在《宣言书》中提出：“我们已经下了决心要筹募一百万元基金，征集一百万位同志，提倡一百万所学校，改造一百万个乡村。” 在《根本改造》一文中说：“中国乡村教育之所以没有成效，是因为教育与农业都是各干各的，不相闻问”，“所以第一要教育与农业携手”。 在《我们的信条》一文中说：“我们深信乡村学校应当做改造乡村生活的中心”，“我们深信乡村教师应当做改造乡村生活的灵魂”；“我们深信乡村教师必须有农夫的身手，科学的头脑，改造社会的精神”。