羅祖，山東即墨人，年少貧窮，應徵前往北方當兵，守衛邊疆。羅祖在北方居住數年，生下一子，爾後仕途順利，深受上司器重。後來上司升任參將，前往陝西上任，羅祖與之同行，臨行之前，將妻兒託給朋友李某照顧。
有一次上司派遣羅祖前往北疆送信，送信之前，羅祖順路回了老家一趟。來到家中，妻子平安無恙，但是床底下卻多了一雙男人布鞋，羅祖心中生疑，尋思“莫非妻子偷人，不用說，姦夫定是李某。”當即與妻子一起，前往李某家中拜訪，名為致謝，實為查證。
李某出來迎接，態度熱情，擺下酒席款待，席間，妻子不住稱讚李某為人恩義，眉梢眼角，秋波暗送。羅祖心中涼透，默默不語。次日，羅祖跟妻子說：“我要前往邊疆送信，今晚不回來了，不必等我。”出門騎馬而去，一更天時，又偷偷折回。
羅祖躡手躡腳來到窗邊，只聽得屋中傳來妻子嬌聲媚語，正與李某有說有笑，羅祖大怒，破門而入。二人大懼，跪地求饒，羅祖抽出隨身佩刀，架在李某脖頸之上，忽然間呸地一聲，將佩刀收回，冷冷道：“似你這般禽獸，殺你髒了我的刀。你給我聽好了，要想不死，答應我兩件事，第一，替我照顧妻兒。第二，替我當兵。”語畢，揚長而去。
鄰里百姓將此事告到官府，縣令一番審訊，李某如實招認。縣令大怒，當下將李某與妻子各打五十大板，收入監獄，一年後，兩人盡皆死去。至於羅祖兒子，遣送回鄉，交給即墨縣親屬照看。
羅祖自從上次離去，從此不知所蹤。後來有樵夫在林野中見過羅祖，那時他在洞內打坐，終日不飲不食。給他送乾糧，拒不接受，如此過了數年，山洞外雜草叢生，羅祖依然不離不動。又過了好久，有人見到羅祖在山間漫步，走近一瞧，眨眼消失不見。前往山洞檢視，羅祖渾身積滿灰塵，肉身早已坐化，想來已經成仙。
鄉民為紀念羅祖，特地為他蓋了一間寺廟，每逢三月，定時祭拜。有時羅祖之子前往寺廟憑弔亡父，人們都稱呼他為“小羅祖”。爭著向他進獻香火銀錢。