lme4::lmer-Berichte "fixed-effect model matrix Rang mangelhaft", brauche ich ein Update und wie?

Sind Sie etwas über-besorgt mit der Warnmeldung:

fixed-Effekt-Modell der matrix Reihe mangelhaft, so fallen 7 Spalten /Koeffizienten.

Es ist eine Warnung, kein Fehler. Es ist weder Missbrauch von lmer noch krank-Spezifikation von Modell-Formel, so erhalten Sie eine geschätzte Modell. Aber um deine Frage zu beantworten, ich werde mich bemühen, es zu erklären.

Während der Ausführung von lmerIhr Modell der Formel ist aufgeteilt in ein fixed-Effekt-Formel und ein random-Effekt-Formelund für jeden ein Modell matrix aufgebaut ist. Aufbau für das fest ist über die standard-Modell-matrix-Konstruktor model.matrix; Bau der Zufall eine komplizierte, aber nicht zu deiner Frage, also habe ich Sie einfach überspringen.

Für Ihr Modell, können Sie überprüfen, was der fixed-Effekt-Modell matrix sieht aus wie von:

fix.formula <- F2_difference ~ sex + nasal + type + vowelLabel + 
               type * vowelLabel + nasal * type

X <- model.matrix (fix.formula, data.df)

Alle Ihre Variablen Faktor so X werden binäre. Obwohl - Modell.matrix Kontraste für die einzelnen Faktoren und Ihre Interaktiones ist immer noch möglich, dass X nicht am Ende mit vollen Spalte Rang, als eine Spalte kann eine lineare Kombination von einigen anderen (die entweder präzise oder numerisch in der Nähe). In Ihrem Fall, einige levels eines Faktors können verschachtelt werden in einigen levels von anderen.

Rang-Mangel kann auf viele verschiedene Arten entstehen. Die andere Antwort Aktien ein CrossValidated Antwort bietet erhebliche Diskussionen, auf die ich einige Anmerkungen machen.

• Für Fall 1, die Menschen tatsächlich tun können eine feature-selection-Modell über sagen, LASSO.
• Den Fällen 2 und 3 sind bezogen auf den Prozess der Datensammlung. Ein gutes design des Experiments ist der beste Weg, um zu verhindern, dass Rang-Mangel, aber für viele Menschen, die Modelle bauen, die Daten sind schon da und keine Verbesserung (wie immer mehr Daten) ist möglich. Ich möchte jedoch betonen, dass auch für einen dataset ohne Rang-Mangel, können wir immer noch dieses problem, wenn wir don ' T verwenden Sie es sorgfältig. Zum Beispiel, Kreuz-Validierung ist eine gute Methode für Modell-Vergleich. Um dies zu tun, müssen wir splitten den kompletten Datenbestand in eine Trainings-und eine test, aber ohne Betreuung kann man sich eine Rang-defizienten Modell aus dem Trainings-Datensatz.
• Fall 4 ist ein großes problem, das konnte völlig außerhalb unserer Kontrolle. Vielleicht eine Natürliche Wahl ist die Verringerung der Komplexität des Modells, sondern eine alternative ist, zu versuchen, bestraft regression.
• Fall 5 ist eine numerische betreffen, was zu numerischen Rang-Mangel und diese ist ein gutes Beispiel.
• Fällen 6 und 7 sagen, die Tatsache, dass die numerischen Berechnungen durchgeführt werden, die in endlicher Genauigkeit. In der Regel sind diese nicht zum Problem werden, wenn der Fall 5 ist angemessen mit Ihnen umgegangen.

So, manchmal können wir Abhilfe des Mangels, aber es ist nicht immer möglich, dies zu erreichen. So gut geschrieben-Modell fitting routine, wie lmglmmgcv::gam ist, gilt QR-ZERLEGUNG für X nur verwenden Ihre full-Rang Unterraum, D. H., eine maximale Teilmenge von X's Spalten, das gibt eine full-Rang-Raum, für die Bewertung, die Festsetzung von Koeffizienten verbunden mit dem rest der Spalten bei 0 oder NA. Die Warnung, du hast nur impliziert. Es sind ursprünglich ncol(X) Koeffizienten zu schätzen, aber aufgrund von Mangel, nur ncol(X) - 7 geschätzt werden, der rest 0 oder NA. Solche numerischen Abhilfe sorgt dafür, dass ein least-squares-Lösung kann erhalten werden, in der die meisten stabil.

Besser zu verdauen dieses Problem können Sie mit lm passen Sie ein lineares Modell mit fix.formula.

fix.fit <- lm(fix.formula, data.df, method = "qr", singular.ok = TRUE)

method = "qr" und singular.ok = TRUE sind Standard, so dass wir eigentlich gar nicht brauchen, um es zu setzen. Aber wenn wir angeben singular.ok = FALSElm stoppen und beschweren sich über Rang-Mangel.

lm(fix.formula, data.df, method = "qr", singular.ok = FALSE)
#Error in lm.fit(x, y, offset = offset, singular.ok = singular.ok, ...) : 
#  singular fit encountered

Können Sie dann prüfen Sie die zurückgegebenen Werte in fix.fit.

p <- length(coef)
coef <- fix.fit$coef
no.NA <- sum(is.na(coef))
rank <- fix.fit$rank

Ist gewährleistet, dass p = ncol(X)aber Sie sollten sehen no.NA = 7 und rank + no.NA = p.

Genau das gleiche passiert im inneren lmer. lm wird nicht melden-Mangel während lmer tut. Dies ist in der Tat informativ, wie es allzu oft sehe ich die Menschen Fragen, warum lm zurück NA für einige Koeffizienten.

Update 1 (2016-05-07):

Lassen Sie mich sehen, wenn ich dies richtig: Die kurze version ist, dass man meine Prädiktor-Variablen korreliert ist, mit einem anderen, aber ich sollte nicht Sorge über es. Es ist angebracht, zu verwenden, Faktoren, richtig? Und ich kann immer noch den Vergleich von Modellen mit anova oder durch die Suche auf der BIC?

Mach dir keine sorgen über die Verwendung von summary oder anova. Methoden sind so geschrieben, dass die korrekte Anzahl der Parameter (degree of freedom) wird verwendet zu produzieren, die gültige Zusammenfassung der Statistik.

Update 2 (2016-11-06):

Lassen Sie uns auch hören, was der Paket-Autor lme4 würde sagen: Rang-Mangel Warnung gemischten Modell lmer. Ben Bolker erwähnt hat caret::findLinearCombos auch, vor allem, weil die OP will, nur zu-Adresse-Mangel-Problem selbst.

Update 3 (2018-07-27):

Rang-Mangel ist nicht ein problem für die gültige Modell-Schätzung und-Vergleich, konnte aber eine Gefahr bei der Vorhersage. Ich habe vor kurzem komponierte eine ausführliche Antwort mit simulierten Beispielen auf CrossValidated: R - lmKönnte mir jemand ein Beispiel für die irreführende Fall auf "Vorhersage von einem Rang-Mangel"? So, ja, in der Theorie wir sollten es vermeiden, Rang-defizienten Schätzung. Aber in der Realität, es gibt keine so genannte "wahre Modell": wir versuchen zu lernen aus Daten. Wir können nicht vergleichen eines geschätzten Modells, um "die Wahrheit"; die beste Wette, um die beste zu wählen aus einer Vielzahl von Modellen, die wir gebaut haben. Also, wenn das "beste" Modell landet Rang-mangelhaft, sind wir skeptisch, aber es gibt wohl nichts, was wir tun können, sofort.

InformationsquelleAutor der Antwort 李哲源