Wie zu entfernen/löschen eine große Datei vom commit-Historie in Git-repository?

Was Sie tun möchten, ist sehr störend, wenn Sie veröffentlicht die Geschichte, um anderen Entwicklern. Sehen "Wiederherstellen Von" Upstream "Stellungswechsel" in der git rebase - Dokumentation für die notwendigen Schritte nach der Reparatur Ihre Geschichte.

Haben Sie mindestens zwei Möglichkeiten: git filter-branch und einen interaktiven rebase, die beide nachstehend erläutert.

Mit git filter-branch

Ich hatte ein ähnliches problem mit sperrigen binary test Daten aus einem Subversion-import und schrieb über entfernen von Daten aus einem git-repository.

Sagen, deine git-Geschichte ist:

$ git lola --name-status
* f772d66 (HEAD, master) Login page
| A     login.html
* cb14efd Remove DVD-rip
| D     oops.iso
* ce36c98 Careless
| A     oops.iso
| A     other.html
* 5af4522 Admin page
| A     admin.html
* e738b63 Index
  A     index.html

Beachten Sie, dass git lola ist ein nicht-standard, aber sehr nützlich, alias. Mit der --name-status wechseln, können wir sehen, Baum-Modifikationen, die mit jedem commit.

In der "Sorglosen" Begehen (dessen SHA1-Objekt-name ist ce36c98) die Datei oops.iso ist der DVD-rip Hinzugefügt von Unfall und entfernt werden in den nächsten Begehen, cb14efd. Mit Hilfe der Technik beschrieben in der oben genannten blog-post, die Ausführung des Befehls ist:

git filter-branch --prune-empty -d /dev/shm/scratch \
  --index-filter "git rm --cached -f --ignore-unmatch oops.iso" \
  --tag-name-filter cat -- --all

Optionen:

• --prune-empty entfernt begeht, die leer geworden (d.h., ändern Sie nicht den Baum) als Ergebnis der filter-operation. Im typischen Fall, diese option erzeugt eine sauberere Geschichte.
• -d Namen ein temporäres Verzeichnis, das noch nicht existiert zu verwenden für den Aufbau der gefilterte Geschichte. Wenn Sie eine moderne Linux-distribution, die Angabe eines Baum in /dev/shm führt zu schnelleren Ausführung.
• --index-filter ist der main event und läuft gegen den index bei jedem Schritt in der Geschichte. Sie entfernen möchten oops.iso wo immer es gefunden wird, aber es ist nicht in allen verpflichtet. Der Befehl git rm --cached -f --ignore-unmatch oops.iso löscht den DVD-rip, wenn es vorhanden ist und nicht anders.
• --tag-name-filter beschreibt, wie rewrite-tag-Namen. Ein filter cat ist die Identität Betrieb. Das repository, wie im Beispiel oben, dürfen keine tags, aber ich habe diese option für die vollständige Allgemeingültigkeit.
• -- gibt das Ende der Optionen zu git filter-branch
• --all folgenden -- ist die Kurzform für alle refs. Das repository, wie im Beispiel oben, kann nur ein ref (master), aber ich habe diese option für die vollständige Allgemeingültigkeit.

Nach einigen Buttern, die Geschichte ist nun:

$ git lola --name-status
* 8e0a11c (HEAD, master) Login page
| A     login.html
* e45ac59 Careless
| A     other.html
| * f772d66 (refs/original/refs/heads/master) Login page
| | A   login.html
| * cb14efd Remove DVD-rip
| | D   oops.iso
| * ce36c98 Careless
|/
|   A   oops.iso
|   A   other.html
* 5af4522 Admin page
| A     admin.html
* e738b63 Index
  A     index.html

Fest, dass das neue "Sorglos" commit fügt nur other.html ist und dass die "Entfernen" DVD-rip" commit ist nicht mehr auf dem master-branch. Die Niederlassung beschriftet refs/original/refs/heads/master enthält Ihre ursprünglichen commits in Fall, dass Sie einen Fehler gemacht haben. Um es zu entfernen, befolgen Sie die Schritte in "Checkliste für die Verkleinerung ein endlager."

$ git update-ref -d refs/original/refs/heads/master
$ git reflog expire --expire=now --all
$ git gc --prune=now

Für eine einfachere alternative, Klonen Sie das repository zu entsorgen Sie die unerwünschte bits.

$ cd ~/src
$ mv repo repo.old
$ git clone file:///home/user/src/repo.old repo

Mit einem file:///... clone URL kopiert anstatt Objekte zu erstellen hardlinks nur.

Nun Ihre Geschichte:

$ git lola --name-status
* 8e0a11c (HEAD, master) Login page
| A     login.html
* e45ac59 Careless
| A     other.html
* 5af4522 Admin page
| A     admin.html
* e738b63 Index
  A     index.html

Die SHA1-Objekt-Namen für die ersten beiden commits ("Index" und "Admin-Seite") blieb die gleiche, weil die filter-operation nicht geändert haben diejenigen, die verpflichtet. "Leichtsinnig" verloren oops.iso und "Login-Seite" bekam einen neuen Elternteil, also Ihr SHA1s hat ändern.

Interactive rebase

Mit einer Geschichte von:

$ git lola --name-status
* f772d66 (HEAD, master) Login page
| A     login.html
* cb14efd Remove DVD-rip
| D     oops.iso
* ce36c98 Careless
| A     oops.iso
| A     other.html
* 5af4522 Admin page
| A     admin.html
* e738b63 Index
  A     index.html

den Sie entfernen möchten oops.iso von "Careless" als ob Sie nie aufgenommen, und dann "Entfernen" DVD-rip" ist nutzlos für Sie. So, unser plan geht in einen interaktiven rebase ist, um "Admin-Seite" Bearbeiten "Leichtsinnig" und verwerfen "Entfernen" DVD-rip".

Läuft $ git rebase -i 5af4522 startet einen editor mit dem folgenden Inhalt.

pick ce36c98 Careless
pick cb14efd Remove DVD-rip
pick f772d66 Login page

# Rebase 5af4522..f772d66 onto 5af4522
#
# Commands:
#  p, pick = use commit
#  r, reword = use commit, but edit the commit message
#  e, edit = use commit, but stop for amending
#  s, squash = use commit, but meld into previous commit
#  f, fixup = like "squash", but discard this commit's log message
#  x, exec = run command (the rest of the line) using shell
#
# If you remove a line here THAT COMMIT WILL BE LOST.
# However, if you remove everything, the rebase will be aborted.
#

Ausführung unserer Planung, wir ändern es zu

edit ce36c98 Careless
pick f772d66 Login page

# Rebase 5af4522..f772d66 onto 5af4522
# ...

Ist, löschen wir die Zeile mit "Entfernen" DVD-rip" und ändern Sie den Betrieb auf "Leichtsinnig" zu werden edit eher als pick.

Speichern-verlassen des Editors fällt uns an einer Eingabeaufforderung mit der folgenden Meldung.

Stopped at ce36c98... Careless
You can amend the commit now, with

        git commit --amend

Once you are satisfied with your changes, run

        git rebase --continue

Als die Nachricht sagt uns, wir sind auf der "Sorglosen" Begehen wir Bearbeiten möchten, so dass wir zwei Befehle ausführen.

$ git rm --cached oops.iso
$ git commit --amend -C HEAD
$ git rebase --continue

Die erste entfernt die infizierte Datei aus dem index. Der zweite ändert oder ergänzt "Leichtsinnig" werden die aktualisierten index und -C HEAD weist git an Wiederverwendung der alten commit-Nachricht. Schließlich git rebase --continue weiter geht es mit dem rest der rebase Vorgang.

Dieser gibt eine Geschichte von:

$ git lola --name-status
* 93174be (HEAD, master) Login page
| A     login.html
* a570198 Careless
| A     other.html
* 5af4522 Admin page
| A     admin.html
* e738b63 Index
  A     index.html

ist das, was Sie wollen.

InformationsquelleAutor Greg Bacon

(Die beste Antwort die ich gesehen habe zu diesem problem ist: https://stackoverflow.com/a/42544963/714112 , kopiert, da dieser thread scheint hoch in der Google-Suche-Ranking aber, dass andere nicht)

? Eine rasant schnelle shell-Einzeiler ?

Diesem shell-Skript zeigt alle blob-Objekte im repository, sortiert vom kleinsten zum größten.

Für mein Beispiel repo, es lief über 100 mal schneller als die anderen, die hier gefunden werden.

Auf meinem guten alten Athlon II X4 system, es behandelt die Linux Kernel repository mit seinen 5,622,155 Objekte in etwas mehr als eine minute.

Der Basis-Skript

git rev-list --objects --all \
| git cat-file --batch-check='%(objecttype) %(objectname) %(objectsize) %(rest)' \
| awk '/^blob/{print substr($0,6)}' \
| sort --numeric-sort --key=2 \
| cut --complement --characters=13-40 \
| numfmt --field=2 --to=iec-i --suffix=B --padding=7 --round=nearest

Beim ausführen obigen code erhalten Sie schöne lesbare Ausgabe wie diese:

...
0d99bb931299  530KiB path/to/some-image.jpg
2ba44098e28f   12MiB path/to/hires-image.png
bd1741ddce0d   63MiB path/to/some-video-1080p.mp4

? Schnelle Entfernen Der Datei ?

Angenommen, Sie wollen dann entfernen Sie die Dateien a und b aus jedem commit aus erreichbar HEAD können Sie diesen Befehl verwenden:

git filter-branch --index-filter 'git rm --cached --ignore-unmatch a b' HEAD

InformationsquelleAutor Sridhar-Sarnobat

Nach versuchen nahezu jede Antwort in SO, fand ich endlich dieses Schmuckstück schnell wieder entfernt und gelöscht werden, die große Dateien in mein repository und erlaubt mir erneut, die Synchronisierung durchzuführen: http://www.zyxware.com/articles/4027/how-to-delete-files-permanently-from-your-local-and-remote-git-repositories

CD zu Ihrem lokalen Arbeitsordner, und führen Sie den folgenden Befehl ein:

git filter-branch -f --index-filter "git rm -rf --cached --ignore-unmatch FOLDERNAME" -- --all

ORDNERNAME mit ersetzen der Datei oder dem Ordner, den Sie entfernen möchten, aus der gegebenen git-repository.

Sobald dies erledigt ist, führen Sie die folgenden Befehle zum bereinigen der lokalen repository:

rm -rf .git/refs/original/
git reflog expire --expire=now --all
git gc --prune=now
git gc --aggressive --prune=now

Nun push alle änderungen in das remote-repository:

git push --all --force

Diese bereinigt das remote-repository.

InformationsquelleAutor Justin

git filter-branch --tree-filter 'rm -f path/to/file' HEAD
funktionierte ziemlich gut für mich, obwohl ich lief in das gleiche problem wie beschrieben hier, die ich gelöst habe, indem Sie die folgenden dieser Vorschlag.

Den pro-git Buch hat ein ganzes Kapitel zu die Geschichte umzuschreiben - haben Sie einen Blick auf die filter-branch/Entfernen Sie eine Datei aus Jedem Commit Abschnitt.

InformationsquelleAutor Thorsten Lorenz

Lief ich in diese mit ein bitbucket-account, wo ich hatte versehentlich gespeichert riesige *.jpa backups von meiner Seite.

git filter-branch --prune-empty --index-filter 'git rm -rf --cached --ignore-unmatch MY-BIG-DIRECTORY-OR-FILE' --tag-name-filter cat -- --all

Relpace MY-BIG-DIRECTORY mit den betreffenden Ordner komplett neu schreiben Ihre Geschichte (einschließlich tags).

Quelle: http://naleid.com/blog/2012/01/17/finding-and-purging-big-files-from-git-history

InformationsquelleAutor lfender6445

Ich im Grunde getan, was war auf diese Antwort:
https://stackoverflow.com/a/11032521/1286423

(für Geschichte, werde ich die copy-paste es hier)

$ git filter-branch --index-filter "git rm -rf --cached --ignore-unmatch YOURFILENAME" HEAD
$ rm -rf .git/refs/original/
$ git reflog expire --all 
$ git gc --aggressive --prune
$ git push origin master --force

Es hat nicht funktioniert, weil ich gerne umbenennen und bewegen vieles. So manche große Datei, die waren im Ordner, die umbenannt wurden, und ich denke, dass der gc konnte nicht löschen Sie den Verweis auf diese Dateien, weil der Verweis in der tree Objekte verweisen auf diese Datei.
Meine ultimative Lösung, um wirklich zu töten, es war:

# First, apply what's in the answer linked in the front
# and before doing the gc --prune --aggressive, do:

# Go back at the origin of the repository
git checkout -b newinit <sha1 of first commit>
# Create a parallel initial commit
git commit --amend
# go back on the master branch that has big file
# still referenced in history, even though 
# we thought we removed them.
git checkout master
# rebase on the newinit created earlier. By reapply patches,
# it will really forget about the references to hidden big files.
git rebase newinit

# Do the previous part (checkout + rebase) for each branch
# still connected to the original initial commit, 
# so we remove all the references.

# Remove the .git/logs folder, also containing references
# to commits that could make git gc not remove them.
rm -rf .git/logs/

# Then you can do a garbage collection,
# and the hidden files really will get gc'ed
git gc --prune --aggressive

Meinem repo (die .git) veränderte sich von 32 MB auf 388KB, dass auch filter-branch konnte nicht sauber.

InformationsquelleAutor Dolanor

Wenn du dieses problem, git rm wird nicht ausreichen, wie git merkt sich, dass die Datei existierte einmal in unserer Geschichte, und so wird immer eine Referenz.

Machen alles noch schlimmer, rebasierung ist nicht leicht, weil alle Verweise auf den blob zu verhindern, git garbage collector Aufräumen den Raum. Dieses umfasst die remote-Referenzen und reflog Referenzen.

Ich zusammen git forget-blob, ein kleines Skript, das versucht, das entfernen Sie alle diese Hinweise, und dann wird mit git-filter-branch zu umschreiben, dass jeder commit in den Zweig.

Sobald Sie Ihre blob ist komplett unreferenzierte, git gc wird es loswerden

Die Verwendung ist ziemlich einfach git forget-blob file-to-forget. Sie können mehr info hier

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Lege ich diese zusammen, vielen Dank für die Antworten von Stack Overflow und einige blog-Einträge. Credits zu Ihnen!

InformationsquelleAutor nachoparker