יחוס גדול ורב היה לו לר' בנימין אב"ד וילקומיר, וכן כותב נכדו בהקדמה לספרו 'משנת ר' בנימין': "הזקנים שבדור שזכו להכיר אותו ... היו יכולים להמציא לנו חומר רב ... וליתן לנו ידיעה נאמנה מסדר יחוסו".
כאמור, עץ משפחה מסודר לא היה ברשותם, אך ממעט הכתבים על משפחתם ששרדו בידי בנו ר' אליהו דוד עולים הפרטים הבאים. ר' בנימין אב"ד וילקומיר, היה בן ר' יחיאל ורבקה. רבקה נולדה בעיר פלונגיאן בזאמוט, היא היתה בת ר' זאב, בן חנה, בת מרדכי יפה נכד לבעל הלבוש. ר' מרדכי זה האחרון נפטר בשנת תק"ל לערך.
האדרת גם כותב שהוא שמע שהם נכדים של ר' משולם זלמן מירלס אב"ד אה"ו, ובהמשך דבריו הוא כותב, שממילא גם של החכם צבי, וכנראה שזו טעות של האדרת, שחשב שהחכם צבי היה חותנו של ר' משולם זלמן מירלס, בעוד שהאמת היא להפך. [וכנראה שזה לא מצד אביו של האדרת, כי אם מצד אמו וכדלהלן]
ר' בנימין נולד בעיר שקוד והיה תלמיד ר' צבי הירש ברוידא מסלנט הסמוכה.
בהיותו אך כבן ח"י שנים נתקבל לרב בפיקעלין בערב ראש השנה תקצ"ב [לפי זה יוצא שנולד בשנת תקע"ד או תקע"ג]
אחרי עשרים שנה שהיה רב בפיקעלין בשנת תרי"ב הלך לעיר שילעל לכהן שם כרב. ובשנת תרי"ט נתקבל לראגאלי, ובשנת תרכ"א, קבע מקומו בעיר וילקומיר, שם כיהן ברבנות עד יומו האחרון. לאחר פטירתו הדפיסו צאצאיו בירושלים את פירושו על המשניות, וקבעו שמו 'משנת ר' בנימין'.
אשתו של ר' בנימין אם ילדיו, מרת טויבא, היתה בתו של ר' שלמה ש"ץ. [האדרת כותב על אביו בנימין, 'לקחו אבי אמי הרב הצדיק ובקי בש"ס מוהר"ר שלמה זצל לחתן לבתו הצנועה בת אחת עשרה שנים מרת טויבא', ובאחד מן הספרים העתיקו מלשונו של האדרת על אביו, וכתבו על ר' בנימין, כביכול, 'לקחו אבי אמו' וכו'. ונשתבשו כאילו שלמה היה אבי זקינו של ר' בנימין].
כאמור ר' שלמה שהיה ש"ץ ושו"ב בעיר יעלאק הסמוכה לטעלז, נתקבל אחר כך על מקום אביו הרה"ג הצדיק כקש"ת ר' אליהו, שהיה ש"ץ ושו"ב בעיר חדש סוגינדט סמוך לגבול פרוסיא. אביו של ר' אליהו זה, היה שמו נחום, והוא היה יליד העיר בראד וברח משם בעת הדבר עם בניו אליהו ואליעזר, שהיו שניהם משוררים נפלאים. וכשגדלו הנערים פירשו זה מזה, ואליהו הקדיש נפשו וגופו לד' וילמד. ר' אליהו נפטר בחול המועד פסח תקצ"ה.
ר' אליהו דוד ואחיו התאום ר' צבי יהודה נולדו בחג השבועות בשנת תר"ג.
היו להם שתי אחיות, האחת מרת רבקה הגדולה, אשת ר' דובער רבינוביץ אב"ד פיאטניצא הסמוכה ללומזא, אביו של ר' אליהו עקיבא רבינוביץ מפולטבא.
והאחות השניה, מרת אסתר לאה אשת ר' צבי הירש פאגריסקי שגר בחצר צעסארקא סמוך לוילקומיר.
בהיות ר' אליהו דוד בן חמש שנים נתייתמו האחים, עם פטירת אמם מרת טויבא בי"ד אלול תר"ח.
אביה ר' שלמה נפטר שלושה חודשים לפניה בט"ו סיון תר"ח.
