Das design von deep convolutional neural networks?

Wie ich es verstehe, alle CNNs sehr ähnlich sind. Sie alle haben ein convolutional Layer, gefolgt von pooling und aufgrund der Kr Schichten. Einige haben spezialisierte Schichten wie FlowNet und Segnet. Meine Frage ist, wie sollen wir entscheiden, wie viele Ebenen Sie verwenden und wie wir den kernel-Größe, die für jede Ebene in das Netzwerk. Ich habe gesucht für eine Antwort auf diese Frage, aber ich konnte nicht finden eine konkrete Antwort. Das Netzwerk ist so konzipiert, mit Versuch und Irrtum, oder sind einige spezielle Regeln, die mir nicht bekannt sind? Wenn Sie könnten bitte klären Sie dies, wäre ich Ihnen sehr dankbar.

InformationsquelleAutor malreddysid | 2016-05-17
  1. 36

    Kurze Antwort: wenn es design-Regeln haben nicht wir die vor Sie noch.

    Hinweis, dass es vergleichbare Fragen in der informatik. Zum Beispiel, beachten Sie, dass es nur eine Handvoll grundlegende elektronische Logik-Einheiten, die Tore, die fahren Ihre Fertigung-Technologie. Alle EDV-Geräte verwenden die gleiche Boolesche Logik; einige haben Besondere Zusätze, wie Lichtschranken-Eingangs-oder mechanische Leistung.

    Wie entscheiden Sie, wie zu entwerfen Sie Ihre computing-Gerät?

    Die Gestaltung richtet sich nach dem Zweck der CNN. Input-Eigenschaften, Genauigkeit, training Geschwindigkeit, scoring-speed -, Anpassungs -, computing-Ressourcen, ... alle diese beeinflussen das design. Es gibt keine generalisierte Lösung, auch für ein bestimmtes problem (noch) nicht.

    Bedenken Sie zum Beispiel, die ImageNet Klassifizierung problem. Hinweis: die strukturellen Unterschiede zwischen dem Gewinner und-Anwärter so weit: AlexNet, GoogleNet, ResNet, VGG, etc. Wenn Sie die Eingänge ändern (sagen wir, um MNIST), dann sind diese overkill. Wenn Sie ändern das Paradigma, Sie kann nutzlos sein. GoogleNet kann ein Prinz von Bild-Verarbeitung, aber es ist schrecklich für die übersetzung der gesprochenen Französisch Englisch geschrieben. Wenn Sie verfolgen möchten, ein hockey-puck in Echtzeit auf Ihrem Bildschirm, vergessen diese Implementierungen vollständig.

    So weit, wir machen das in der empirischen Weg: viele Menschen versuchen eine Menge verschiedener Dinge zu sehen, was funktioniert. Wir bekommen Gefühle für das, was die Genauigkeit erhöhen, oder die Zeit der Ausbildung, oder was auch immer Faktor, den wir optimieren wollen. Wir finden heraus, was funktioniert gut mit der Gesamt-CPU-Zeit, oder was wir tun können, parallel. Wir ändern algorithmen, um die Vorteile von Vektor-Mathematik in den Längen, die Potenzen von 2. Wir ändern Probleme leicht und sehen, wie das lernen passt sich an anderer Stelle. Wir ändern von Domänen (sagen, Bildverarbeitung in geschriebenen text), und starten Sie alle immer-aber mit ein vages Gefühl von dem, was vielleicht Stimmen einer bestimmten Engpass, sobald wir nach unten kommen, um unter Berücksichtigung bestimmter Arten von Schichten.

    Erinnern, CNNs nicht wirklich populär gewesen, so lange, knapp 6 Jahre. Für die meisten Teil, wir sind immer noch versuchen zu lernen, was die wichtigsten Fragen sein könnte. Willkommen im research-team.

    UPDATE

    Sehen auf dieser Seite für einige Hinweise auf das, was Taktiken, die zu funktionieren scheinen, unter einige gemeinsame Umstände.

    • Ich habe auch die gleiche Frage. Obwohl, deine Meinung ist genau in dem Schluss, dass ein empirischer Ansatz gewählt, ich bin nicht in der Lage zu verstehen, wenn es zumindest einige design-Prozess zu beginnen, ein Modell oder nicht? Es werden auch zufällige, nur Ebenen übereinander und erwarten, dass Sie zu geben, ein etwas besseres Ergebnis zu erhalten. Es sollte einige grundlegende Richtlinien auf, wie man auf start und dann auf empirische Methoden können verwendet werden, um die Feinabstimmung des Modells.
    • Auf der Ebene Sie sind, sich die Frage zu stellen, gibt es keine derartigen Richtlinien. Es klingt so, als wenn Sie Fragen, für die praktische, anwendbare Leitlinien für "wie mache ich ein Modell?" Bis Sie klassifizieren das Modell anhand von Allgemeinen Eigenschaften, können wir nicht einmal sagen, dass ein CNN-könnte eine gute Lösung sein. Für die meisten Modellierung von Situationen, ein neuronales Netzwerk ist eine Verschwendung von Ressourcen.
    • Sie sind richtig, dass es nicht praktisch nur starten slapping Schichten zusammen. Vielmehr müssen Sie analysieren Ihre Eingabe textur, betrachten Sie Ihre gewünschte Modellierung und Zweck der Leistung, bestimmen Sie, welche Funktionen Sie sich ableiten könnte aus der Eingabe, die kann führen zu der Ausgabe, die Sie wollen, und dann Experimentieren Sie mit Netzwerk-Topologien, verkörpern diese Eigenschaften. Relativ kleine änderungen in der Eingabe-textur führt oft zu einer großen änderung in der Modell-Topologie.
    • Vielen Dank für Ihre umfassende Antwort. Es ist allerdings fast 2 Jahre später. Ist ein update erwähnenswert? Ich habe die gleiche Frage auch für den RNN und LSTM.
    • Ja, ein update ist absolut erwähnenswert! Wenn Sie etwas hinzufügen möchten, bitte tun Sie. Sie aufgefordert, mich zu fügen Sie einen link, den ich gefunden um die Wende des Jahres. Ihre Frage nach RNN und LSTM ist durchaus gültig; bitte als eine separate Frage, die Verknüpfung zu dieser eine Referenz.
    InformationsquelleAutor Prune
  2. 5

    Gestaltung CNN-Architekturen um eine optimale Ausgabe ist eine schwierige und oft eine empirische Arbeit, jedoch gibt es bestimmte tricks und Techniken (Beweise für einige von Ihnen auch vorhanden ist), die werden verwendet, um design-Netzwerk.

    Bitte Lesen Sie die hier verlinkten Dokument mit dem Titel "Eine praktische Theorie für die Gestaltung sehr deep convolutional neural networks" durch eine kaggler die eine in der Nähe von state-of-the-art-Ergebnisse mit diesen einfachen Regeln.

    • Ich war daran interessiert, liest einen blog-Eintrag, der könnte einen besseren job machen. Leider ist der link defekt ist: "Server konnte nicht authentifiziert die Anforderung. Stellen Sie sicher, dass der Wert des Authorization-header gebildet ist richtig, einschließlich der Unterzeichnung. Anforderungs-id:b593d7f2-0001-00d8-1996-28d03d000000 Zeit:2016-10-17T16:46:42.4179194 Z"
    • Ich fand das original und verknüpft Sie in der oben Bearbeiten. Es ist eine Anlage, um das Dokument zu diesem link.
    • Danke! Ich wollte nicht runter, um es auf meinem interstitial-Liste noch.
    • Schließlich bekam ich es. Dies ist eine parallele Optimierung der Arbeit, die ich gesehen habe in verschiedenen Orten; es ist ein sehr schönes Fallbeispiel, und ausgezeichnete Prozess in einem komplexen Feld.
    InformationsquelleAutor stochastic_zeitgeist
Schreibe einen Kommentar