山西清明就有“清明细雨催人哀，漠漠（土番）头野花开，手端祭品肩扛锹，都为先坟上土来”的民谣，生动地概括了时人的心情与扫墓的特点。春天，民间多修补房舍，以防夏季雨漏。由活人联想到死人，田间坟头经过风吹雨淋，往往塌陷低落。清明时节上坟，最大的特点就是铲除坟头杂草，用新土将坟堆加高加固，习惯称为整修阴宅，表现了儿孙对先人的哀思。
山西南部地区，人家不论贵贱贫富，上坟时男女都到，表示所有后代都在怀念祖先。北部地区上坟多是男子的事情，妇女一般不到坟莹。大同、平遥等地，是日傍晚，旧俗妇女们要在大门外放声大哭，“阖村哀声连一片，传入耳中都是悲”。山西南部多数地方上坟时不燃香、不化纸，要将冥钱等物悬挂坟头，有“清明坟头一片白”的说法。原因是寒食节习惯禁火，而清明节又在寒食节期间。山西北部多数地方却要将冥钱等物全部烧尽，理由是不烧尽就转不到先人手里。大同等地又习惯白日上坟，晚上在家中焚烧冥钱冥帛。
清明节，晋南地区民间要蒸大馍，中夹核桃、红枣、豆子之类，称为子福。取意子孙多福，全凭祖宗保佑。家家还要做黑豆凉粉，切薄块灌汤而食。铲萎蕤草，在炕席上搓拉，名曰驱蝎。晋东南地区，人人头上插柳枝枯叶。妇女要用描金彩胜（头饰）贴在两鬓。晋北地区，习惯生黑豆芽，并用玉米面包黑豆芽馅食用。晋西北地区讲究用黍米磨面作饼，俗称“摊黄儿”，吕梁地区在清明后一天，要接女邀婿，俗称“清新火”。