dplyr-package: Wie kann ich die Abfrage von großen Daten-frame mit like '%xyz%' SQL-syntax?

dplyr ist das einzige Paket, das verarbeiten kann, meine 843k Daten.Rahmen und Abfragen in einer schnellen Weise.
Ich kann filter fein mit etwas Mathe und gleiche Kriterien, aber ich brauche eine Suchfunktion zu implementieren, für ein Konzept.

Brauche ich so etwas sqldf Abfrage

library(sqldf)
head(iris)
sqldf("select * from iris where lower(Species) like '%nica%'")

In dplyr-Hilfe konnte ich nicht finden, wie ich es tun könnte. so etwas wie:

filter(iris,Species like '%something%')

Den Start-und End % ist sehr wichtig. Beachten Sie auch, dass die Daten-frame hat 800+k Zeilen, so dass traditionelle R-Funktionen kann langsam laufen. Es muss Biene, einer dplyr-basierte Lösung.

  • dplyr is the only package that can handle my 843k data.frame Ich sehr empfehlen, das R-Paket data.table.
  • Ich traf eine Entscheidung, um den Fokus auf dplyr-syntax und "skip Daten.Tabelle" Meine ganze app ist verpflichtet dplyr so Daten.Tisch-Lösung ist OK, aber native dplyr am besten ist. Ich denke, dplyr IST mit Daten.Tabelle unter der Haube.
  • dplyr können gemeinsam mit Daten der Tabellen, aber es sei denn, Sie explizit laden data.table und konvertieren Sie Ihre Daten.frames zu Daten.Tabellen, es wird nicht verwenden Sie es unter der Haube. Dies könnte Ihnen zusätzliche Geschwindigkeit erhält.
InformationsquelleAutor userJT | 2014-07-22
  1. 6

    Was über diese - 

    library(dplyr)
data(iris)
filter(iris, grepl("nica",Species))

    EDIT: eine Weitere Möglichkeit - die Funktion %like% im data.table()

    library(dplyr)
data(iris)
##
Iris <- iris[
  rep(seq_len(nrow(iris)),each=5000),
  ]
dim(Iris)
[1] 750000      5
##
library(microbenchmark)
library(data.table)
##
Dt <- data.table(Iris)
setkeyv(Dt,cols="Species")
##
foo <- function(){
  subI <- filter(Iris, grepl("nica",Species))
}
##
foo2 <- function(){
  subI <- Dt[Species %like% "nica"]
}
##
foo3 <- function(){
  subI <- filter(Iris, Species %like% "nica")
}
Res <- microbenchmark(
  foo(),foo2(),foo3(),
  times=100L)
##
> Res
Unit: milliseconds
   expr       min        lq    median        uq      max neval
  foo() 114.31080 122.12303 131.15523 136.33254 214.0405   100
 foo2()  23.00508  30.33685  39.77843  41.49121 129.9125   100
 foo3()  18.84933  22.47958  29.39228  35.96649 114.4389   100
    • Das ist großartig. So zum Schluss, dplyr ist die Schnellste. und die endgültige Antwort ist: filter(Iris-Arten, %wie% "nica"). Wie finde ich Hilfe für die %gerne% - Funktion in Daten.Tabelle?
    • Ja, ich glaube schon - obwohl, wie ich schon bemerkt habe, ich bin kein Experte mit data.table und ich habe das Gefühl, dass foo2() ist dabei ein Vektor-scan eher als eine binäre Suche, so könnte es einen schnelleren Weg. Unabhängig davon, mit filter mit %like% wie in foo3() scheint halbwegs schnell. (Nach library(data.table), wenn Sie mit RStudio können Sie den Typ %like% in den Hilfe-Seiten search bar, oder von der Konsole Typ ?"%like%".
    • %wie% ist in der Tat nur ein wrapper für grepl, so kleben mit nur grepl das einfachste sein kann
    InformationsquelleAutor nrussell
  2. 3

    vollständige code wäre (einschließlich der Kleinbuchstaben)

    require(data.table)
iris %>% filter(tolower(Species) %like% 'nica')
    InformationsquelleAutor userJT
Schreibe einen Kommentar