Fragen zu CRC

Unser allgemeines Manjaro Linux Diskussionsforum.
Antworten

Themen Author
arminius
Forum Kenner
Forum Kenner
Beiträge: 166
Registriert: Donnerstag 17. Februar 2022, 13:39
CPU: Intel I9-14900K
GPU: PNY 4090 OC
Kernel: 6.6.8-2-MANJARO
Desktop-Variante: KDE Plasma
GPU Treiber: Nvidia 12.545.29.06
Hat sich bedankt: 89 Mal
Danksagung erhalten: 7 Mal

Fragen zu CRC

#1

Beitrag von arminius »

Hallo :)

Dank eurer Unterstützung kann ich nun den jdownloader2 einsetzen. Mal abgesehen von der riesigen Zeitersparnis war mi jedoch der von jdownloader2 durchgeführt CRC sehr wichtig, um für eine Integrität der Dateien zu sorgen.

Wie verhält es sich eigentlich, wenn man Dateien über den Browser runterlädt, ohne jdownloader? Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien? Ist es euch überhaupt wichtig oder ist die Gefahr von korrupten Downloads vernachlässigbar klein?
Benutzeravatar

Daemon
Forum Held
Forum Held
Beiträge: 959
Registriert: Freitag 22. Dezember 2017, 14:17
CPU: 6082
GPU: wtf
Kernel: pre-linux
Desktop-Variante: pre-linux
GPU Treiber: hab keine
Hat sich bedankt: 21 Mal
Danksagung erhalten: 166 Mal

Re: Fragen zu CRC

#2

Beitrag von Daemon »

arminius hat geschrieben: ↑Donnerstag 7. April 2022, 10:55 Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien?
CRC ist nicht für die Integrität zuständig. CRC Datenströme können so manipuliert werden dass es aussieht als ob alles ok ist.
Um das zu machen was du willst solltest du den SHA Hashwert überprüfen.
Siamo con il nostro Dio Scuro

Themen Author
arminius
Forum Kenner
Forum Kenner
Beiträge: 166
Registriert: Donnerstag 17. Februar 2022, 13:39
CPU: Intel I9-14900K
GPU: PNY 4090 OC
Kernel: 6.6.8-2-MANJARO
Desktop-Variante: KDE Plasma
GPU Treiber: Nvidia 12.545.29.06
Hat sich bedankt: 89 Mal
Danksagung erhalten: 7 Mal

Re: Fragen zu CRC

#3

Beitrag von arminius »

Daemon hat geschrieben: ↑Donnerstag 7. April 2022, 12:24
arminius hat geschrieben: ↑Donnerstag 7. April 2022, 10:55 Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien?
CRC ist nicht für die Integrität zuständig. CRC Datenströme können so manipuliert werden dass es aussieht als ob alles ok ist.
Um das zu machen was du willst solltest du den SHA Hashwert überprüfen.
Hallo :)

Vermutlich habe ich mich sehr unklar ausgedrückt. Mir geht es darum zu gewährleisten, dass während dem Download nicht aufgrund einer fehlerhaften übertragung die Datei selbst verändert wird. Es geht mir nicht darum, dass die Datei durch 3. verändert wird, sondern von der Fehlerhaftigkeit der Datenübertragung.

Wenn ich zb. über den Browser eine Datei runterlade, wie kann ich gewährleisten, dass unterwegs nicht durch die Fehleranfälligkeit der Datenübertragung die Datei nicht mehr die gleiche ist? Jdownloader hat einen CRC Test, aber wie ist es, wenn ich zb. ein .zip Archiv ganz regulär über den Browser runterlade?

Günther
Erfahrenes Foren Mitglied
Erfahrenes Foren Mitglied
Beiträge: 96
Registriert: Mittwoch 23. Juni 2021, 00:19
CPU: AMD Ryzen 7 7800X3D
GPU: GeForce RTX 4070
Kernel: Manjaro, stable Kernel
Desktop-Variante: KDE Plasma
GPU Treiber: NVIDIA proprietär
Hat sich bedankt: 23 Mal
Danksagung erhalten: 12 Mal

Re: Fragen zu CRC

#4

Beitrag von Günther »

Die Prüfunktion vom jdl arbeitet super.

( siehe https://support.jdownloader.org/Knowled ... t-good-for )

Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. 1) Da kann im Notfall das simple Downloaden über den Browser hilfreich sein. ;)

Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.

Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?

Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.

Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist ;)

Themen Author
arminius
Forum Kenner
Forum Kenner
Beiträge: 166
Registriert: Donnerstag 17. Februar 2022, 13:39
CPU: Intel I9-14900K
GPU: PNY 4090 OC
Kernel: 6.6.8-2-MANJARO
Desktop-Variante: KDE Plasma
GPU Treiber: Nvidia 12.545.29.06
Hat sich bedankt: 89 Mal
Danksagung erhalten: 7 Mal

Re: Fragen zu CRC

#5

Beitrag von arminius »

Günther hat geschrieben: ↑Samstag 9. April 2022, 18:15 Die Prüfunktion vom jdl arbeitet super.

( siehe https://support.jdownloader.org/Knowled ... t-good-for )

Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. 1) Da kann im Notfall das simple Downloaden über den Browser hilfreich sein. ;)

Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.

Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?

Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.

Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist ;)
Das betrifft aber nur Archive, oder? Heisst das also, dass eine gezippte Datei, die ich entpacken kann, immer als nicht fehlerhaft oder als funktional bezeichnet werden kann? In dem Falle wäre es für die Funktionalität für ein Programm komplett egal, wenn mal das ein oder andere Bit nicht richtig übertragen wird? Kann das für die korrekte Funktionalität des Programms nicht fatal sein?
Benutzeravatar

gosia
Forum Held
Forum Held
Beiträge: 2232
Registriert: Dienstag 24. Mai 2016, 13:33
CPU: Intel i5-3210M
GPU: Intel HD 4000
Kernel: 4.19
Desktop-Variante: Openbox
GPU Treiber: i915
Hat sich bedankt: 20 Mal
Danksagung erhalten: 495 Mal

Re: Fragen zu CRC

#6

Beitrag von gosia »

Hallo arminius,
arminius hat geschrieben: ↑Sonntag 10. April 2022, 03:42 wäre es für die Funktionalität für ein Programm komplett egal, wenn mal das ein oder andere Bit nicht richtig übertragen wird?
lässt sich ja leicht simulieren. Habe mal verschieden Datei-Typen genommen und mit dem Hexeditor ein byte leicht verändert, aus einer 1 eine 0 gemacht. Resultat:
* Archive: lassen sich nicht mehr entpacken
* Video: Artefakte an der betreffenden Stelle, sind aber sonst abspielbar
* Bilder (*.jpg): in der Regel kaum sichtbare Pixelfehler
* binäre Programme: nicht ausführbar -> Speicherzugriffsfehler
dass Skripte ebenfalls nicht ausfühbar werden, dürfte klar sein.
Aber die Gefahr vor "gekippten" Bits scheint mir nicht so gross zu sein. Klar sollte man ISOs per Checksumme prüfen, mache ich immer, habe noch nie einen Fehler gehabt. Aber sonst, entweder merkt man das beim Benutzen (nicht ausführbar) oder es ist - je nachdem - nicht so kritisch (Videos, Bilder). Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.

viele Grüsse gosia
Benutzeravatar

Siliziumfuchs
Forum Kenner
Forum Kenner
Beiträge: 217
Registriert: Mittwoch 23. Februar 2022, 22:34
Wohnort: Hamburg
CPU: Intel® Core™ i9-11900K
GPU: NVIDIA GeForce RTX 3070
Kernel: 5.15.76-1-MANJARO (64-bit)
Desktop-Variante: KDE-Plasma 5.26.x
GPU Treiber: NVidia 520.56.06
Hat sich bedankt: 19 Mal
Danksagung erhalten: 23 Mal

Re: Fragen zu CRC

#7

Beitrag von Siliziumfuchs »

Wobei mindestens bei Bildern, binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen.
Bei Bildern Veränderungen in den Meta-Daten (Aufnahmezeitpunkt, Blende oder ähnliches), bei den Programmen bei Änderungen in möglicherweise vorhandenen Debug-Informationen und bei den Skripten wenn die Änderungen zufällig nur in irgendwelchen Kommentaren aufgetreten sind.

Also von daher:
Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.
Große Zustimmung meinerseits.

Günther
Erfahrenes Foren Mitglied
Erfahrenes Foren Mitglied
Beiträge: 96
Registriert: Mittwoch 23. Juni 2021, 00:19
CPU: AMD Ryzen 7 7800X3D
GPU: GeForce RTX 4070
Kernel: Manjaro, stable Kernel
Desktop-Variante: KDE Plasma
GPU Treiber: NVIDIA proprietär
Hat sich bedankt: 23 Mal
Danksagung erhalten: 12 Mal

Re: Fragen zu CRC

#8

Beitrag von Günther »

Siliziumfuchs hat geschrieben: ↑Sonntag 10. April 2022, 16:08 [...]binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen[...]
Genau da sollte es nicht auftreten, vermieden werden!

Wenn intessiert es, dass dein Video statt dem Grünwert von 107 einen Wert von 208 in einem einzigen Frame in einem Pixel des Videos Dieses falsch anzeigt? Bei Bildern tritt dieses Problem im Faktor 1/24 -1/60 (Frequenz theoretisch übertragbar) e her auf.

Allerdings muss ich aus Erfahrung zustimmen, dass ich keine merklich falsch übertragenen Videos kenne, aber durchaus Bilder.

Edit: Bis gewisse Medien sich im Internet und der dahingenden massenhaftenden Verbreitung fanden, hatten starke technische Unterschiede zeitgefunden. Grob schätzungsweise 10 Jahre zwischen Bildern und Videos. Daher erklärt auch die Zeit die bessere Übertragungstechnik / Datenintegrität zwischen den beiden Medien.

Themen Author
arminius
Forum Kenner
Forum Kenner
Beiträge: 166
Registriert: Donnerstag 17. Februar 2022, 13:39
CPU: Intel I9-14900K
GPU: PNY 4090 OC
Kernel: 6.6.8-2-MANJARO
Desktop-Variante: KDE Plasma
GPU Treiber: Nvidia 12.545.29.06
Hat sich bedankt: 89 Mal
Danksagung erhalten: 7 Mal

Re: Fragen zu CRC

#9

Beitrag von arminius »

Es scheint also schon so zu sein, dass ein fehlerhaftes Bit allein zu einem fehlerhaften Programm und somit Funktionialität führen kann. Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.
Benutzeravatar

gosia
Forum Held
Forum Held
Beiträge: 2232
Registriert: Dienstag 24. Mai 2016, 13:33
CPU: Intel i5-3210M
GPU: Intel HD 4000
Kernel: 4.19
Desktop-Variante: Openbox
GPU Treiber: i915
Hat sich bedankt: 20 Mal
Danksagung erhalten: 495 Mal

Re: Fragen zu CRC

#10

Beitrag von gosia »

Hallo arminius,
arminius hat geschrieben: ↑Montag 11. April 2022, 15:15 Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.
Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.

viele Grüsse gosia

Themen Author
arminius
Forum Kenner
Forum Kenner
Beiträge: 166
Registriert: Donnerstag 17. Februar 2022, 13:39
CPU: Intel I9-14900K
GPU: PNY 4090 OC
Kernel: 6.6.8-2-MANJARO
Desktop-Variante: KDE Plasma
GPU Treiber: Nvidia 12.545.29.06
Hat sich bedankt: 89 Mal
Danksagung erhalten: 7 Mal

Re: Fragen zu CRC

#11

Beitrag von arminius »

gosia hat geschrieben: ↑Dienstag 12. April 2022, 11:25 Hallo arminius,
arminius hat geschrieben: ↑Montag 11. April 2022, 15:15 Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.
Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.

viele Grüsse gosia
Ich kann anhand deiner Ausführungen nun besser die Wahrscheinlichkeiten einschätzen. Dinge wie herunterfallender Laptop, überschreiben von Daten ohne Backup usw. sind Faktoren, die ich als Mensch beeinflussen kann. Mir ist es wichtig, dass ich nicht Programme auf dem PC speichere, die irgendwann mal nach nach der Apokalypse ihren Dienst verweigern ;)

Es scheint also nahezu ausgeschlossen, dass aufgrund fehlerhafter Dateiübertragung Packages oder Archive Schaden nehmen. Damit kann ich was anfangen.

Vielen Dank euch allen für die Antworten.
Antworten

Zurück zu „Manjaro Linux Allgemeine Diskussion“