Fragen zu CRC
-
Themen Author - Forum Kenner
- Beiträge: 209
- Registriert: Donnerstag 17. Februar 2022, 13:39
- CPU: Intel I9-14900K
- GPU: PNY 4090 OC
- Kernel: 6.6.8-2-MANJARO
- Desktop-Variante: KDE Plasma
- GPU Treiber: Nvidia 12.545.29.06
- Hat sich bedankt: 94 Mal
- Danksagung erhalten: 10 Mal
Fragen zu CRC
Hallo
Dank eurer Unterstützung kann ich nun den jdownloader2 einsetzen. Mal abgesehen von der riesigen Zeitersparnis war mi jedoch der von jdownloader2 durchgeführt CRC sehr wichtig, um für eine Integrität der Dateien zu sorgen.
Wie verhält es sich eigentlich, wenn man Dateien über den Browser runterlädt, ohne jdownloader? Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien? Ist es euch überhaupt wichtig oder ist die Gefahr von korrupten Downloads vernachlässigbar klein?
Dank eurer Unterstützung kann ich nun den jdownloader2 einsetzen. Mal abgesehen von der riesigen Zeitersparnis war mi jedoch der von jdownloader2 durchgeführt CRC sehr wichtig, um für eine Integrität der Dateien zu sorgen.
Wie verhält es sich eigentlich, wenn man Dateien über den Browser runterlädt, ohne jdownloader? Wird jeweils vom Browser (Brave im Einsatz) selbst auch ein CRC im begrenzten Umfang durchgeführt und wenn nein, wie garantiert ihr die Integrität eurer heruntergeladenen Dateien? Ist es euch überhaupt wichtig oder ist die Gefahr von korrupten Downloads vernachlässigbar klein?
-
- Forum Held
- Beiträge: 975
- Registriert: Freitag 22. Dezember 2017, 14:17
- CPU: 6082
- GPU: wtf
- Kernel: pre-linux
- Desktop-Variante: pre-linux
- GPU Treiber: hab keine
- Hat sich bedankt: 21 Mal
- Danksagung erhalten: 168 Mal
Re: Fragen zu CRC
CRC ist nicht für die Integrität zuständig. CRC Datenströme können so manipuliert werden dass es aussieht als ob alles ok ist.
Um das zu machen was du willst solltest du den SHA Hashwert überprüfen.
Siamo con il nostro Dio Scuro
-
Themen Author - Forum Kenner
- Beiträge: 209
- Registriert: Donnerstag 17. Februar 2022, 13:39
- CPU: Intel I9-14900K
- GPU: PNY 4090 OC
- Kernel: 6.6.8-2-MANJARO
- Desktop-Variante: KDE Plasma
- GPU Treiber: Nvidia 12.545.29.06
- Hat sich bedankt: 94 Mal
- Danksagung erhalten: 10 Mal
Re: Fragen zu CRC
Hallo
Vermutlich habe ich mich sehr unklar ausgedrückt. Mir geht es darum zu gewährleisten, dass während dem Download nicht aufgrund einer fehlerhaften übertragung die Datei selbst verändert wird. Es geht mir nicht darum, dass die Datei durch 3. verändert wird, sondern von der Fehlerhaftigkeit der Datenübertragung.
Wenn ich zb. über den Browser eine Datei runterlade, wie kann ich gewährleisten, dass unterwegs nicht durch die Fehleranfälligkeit der Datenübertragung die Datei nicht mehr die gleiche ist? Jdownloader hat einen CRC Test, aber wie ist es, wenn ich zb. ein .zip Archiv ganz regulär über den Browser runterlade?
-
- Erfahrenes Foren Mitglied
- Beiträge: 96
- Registriert: Mittwoch 23. Juni 2021, 00:19
- CPU: AMD Ryzen 7 7800X3D
- GPU: GeForce RTX 4070
- Kernel: Manjaro, stable Kernel
- Desktop-Variante: KDE Plasma
- GPU Treiber: NVIDIA proprietär
- Hat sich bedankt: 23 Mal
- Danksagung erhalten: 12 Mal
Re: Fragen zu CRC
Die Prüfunktion vom jdl arbeitet super.
( siehe https://support.jdownloader.org/Knowled ... t-good-for )
Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. Da kann im Notfall das simple Downloaden über den Browser hilfreich sein.
Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.
Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?
Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.
Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist
( siehe https://support.jdownloader.org/Knowled ... t-good-for )
Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. Da kann im Notfall das simple Downloaden über den Browser hilfreich sein.
Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.
Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?
Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.
Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist
-
Themen Author - Forum Kenner
- Beiträge: 209
- Registriert: Donnerstag 17. Februar 2022, 13:39
- CPU: Intel I9-14900K
- GPU: PNY 4090 OC
- Kernel: 6.6.8-2-MANJARO
- Desktop-Variante: KDE Plasma
- GPU Treiber: Nvidia 12.545.29.06
- Hat sich bedankt: 94 Mal
- Danksagung erhalten: 10 Mal
Re: Fragen zu CRC
Das betrifft aber nur Archive, oder? Heisst das also, dass eine gezippte Datei, die ich entpacken kann, immer als nicht fehlerhaft oder als funktional bezeichnet werden kann? In dem Falle wäre es für die Funktionalität für ein Programm komplett egal, wenn mal das ein oder andere Bit nicht richtig übertragen wird? Kann das für die korrekte Funktionalität des Programms nicht fatal sein?Günther hat geschrieben: ↑Samstag 9. April 2022, 18:15 Die Prüfunktion vom jdl arbeitet super.
( siehe https://support.jdownloader.org/Knowled ... t-good-for )
Das bringt dir trotzdem nix, wenn z.B. der Cloud-Hoster eine fehlerhafte Datei in seinem Cache hat. Da kann im Notfall das simple Downloaden über den Browser hilfreich sein.
Wie von "Daemon" erwähnt, musst du einen vernünftigen Hash von dem Hersteller/-seite haben und überprüfen. Da die Datei vom Downloadanbieter fehlerhaft oder falsch übertragen oder auch absichtlich gefaked worden sein kann, solltest du deinen Download über den Hashwert des Herstellers überprüfen oder (wenn ganz sicher sein muss) über einen zertifizierten, kryptographischen Schlüssel prüfen.
Aber dann kommen wir auch zu deiner Browser-Frage? Wozu das Ganze?
Wenn von deinem 1-Gbyte-Video z.B. 1 Bit falsch übertragen wurde, dann passiert gar nix. Dies gilt für die meisten Media-Ströme.
Praktischerweise werden Programme / große Datenströme meist gepackt und mit einem Passwort verschlüsselt, daher kannst du dir nach erfolgreichem Entpacken sicher sein, dass alles gut ist
-
- Forum Held
- Beiträge: 2245
- Registriert: Dienstag 24. Mai 2016, 13:33
- CPU: Intel i5-3210M
- GPU: Intel HD 4000
- Kernel: 4.19
- Desktop-Variante: Openbox
- GPU Treiber: i915
- Hat sich bedankt: 20 Mal
- Danksagung erhalten: 504 Mal
Re: Fragen zu CRC
Hallo arminius,
* Archive: lassen sich nicht mehr entpacken
* Video: Artefakte an der betreffenden Stelle, sind aber sonst abspielbar
* Bilder (*.jpg): in der Regel kaum sichtbare Pixelfehler
* binäre Programme: nicht ausführbar -> Speicherzugriffsfehler
dass Skripte ebenfalls nicht ausfühbar werden, dürfte klar sein.
Aber die Gefahr vor "gekippten" Bits scheint mir nicht so gross zu sein. Klar sollte man ISOs per Checksumme prüfen, mache ich immer, habe noch nie einen Fehler gehabt. Aber sonst, entweder merkt man das beim Benutzen (nicht ausführbar) oder es ist - je nachdem - nicht so kritisch (Videos, Bilder). Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.
viele Grüsse gosia
lässt sich ja leicht simulieren. Habe mal verschieden Datei-Typen genommen und mit dem Hexeditor ein byte leicht verändert, aus einer 1 eine 0 gemacht. Resultat:
* Archive: lassen sich nicht mehr entpacken
* Video: Artefakte an der betreffenden Stelle, sind aber sonst abspielbar
* Bilder (*.jpg): in der Regel kaum sichtbare Pixelfehler
* binäre Programme: nicht ausführbar -> Speicherzugriffsfehler
dass Skripte ebenfalls nicht ausfühbar werden, dürfte klar sein.
Aber die Gefahr vor "gekippten" Bits scheint mir nicht so gross zu sein. Klar sollte man ISOs per Checksumme prüfen, mache ich immer, habe noch nie einen Fehler gehabt. Aber sonst, entweder merkt man das beim Benutzen (nicht ausführbar) oder es ist - je nachdem - nicht so kritisch (Videos, Bilder). Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.
viele Grüsse gosia
-
- Forum Kenner
- Beiträge: 217
- Registriert: Mittwoch 23. Februar 2022, 22:34
- Wohnort: Hamburg
- CPU: Intel® Core™ i9-11900K
- GPU: NVIDIA GeForce RTX 3070
- Kernel: 5.15.76-1-MANJARO (64-bit)
- Desktop-Variante: KDE-Plasma 5.26.x
- GPU Treiber: NVidia 520.56.06
- Hat sich bedankt: 19 Mal
- Danksagung erhalten: 23 Mal
Re: Fragen zu CRC
Wobei mindestens bei Bildern, binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen.
Bei Bildern Veränderungen in den Meta-Daten (Aufnahmezeitpunkt, Blende oder ähnliches), bei den Programmen bei Änderungen in möglicherweise vorhandenen Debug-Informationen und bei den Skripten wenn die Änderungen zufällig nur in irgendwelchen Kommentaren aufgetreten sind.
Also von daher:
Bei Bildern Veränderungen in den Meta-Daten (Aufnahmezeitpunkt, Blende oder ähnliches), bei den Programmen bei Änderungen in möglicherweise vorhandenen Debug-Informationen und bei den Skripten wenn die Änderungen zufällig nur in irgendwelchen Kommentaren aufgetreten sind.
Also von daher:
Große Zustimmung meinerseits.Aber gut, wenn eine Kontrollmöglichkeit besteht, schadet das natürlich nicht.
-
- Erfahrenes Foren Mitglied
- Beiträge: 96
- Registriert: Mittwoch 23. Juni 2021, 00:19
- CPU: AMD Ryzen 7 7800X3D
- GPU: GeForce RTX 4070
- Kernel: Manjaro, stable Kernel
- Desktop-Variante: KDE Plasma
- GPU Treiber: NVIDIA proprietär
- Hat sich bedankt: 23 Mal
- Danksagung erhalten: 12 Mal
Re: Fragen zu CRC
Genau da sollte es nicht auftreten, vermieden werden!Siliziumfuchs hat geschrieben: ↑Sonntag 10. April 2022, 16:08 [...]binären Programmen und Skripten kann ich mir Bereiche vorstellen bei denen veränderte Bytes keine offensichtlichen Auswirkungen zeigen[...]
Wenn intessiert es, dass dein Video statt dem Grünwert von 107 einen Wert von 208 in einem einzigen Frame in einem Pixel des Videos Dieses falsch anzeigt? Bei Bildern tritt dieses Problem im Faktor 1/24 -1/60 (Frequenz theoretisch übertragbar) e her auf.
Allerdings muss ich aus Erfahrung zustimmen, dass ich keine merklich falsch übertragenen Videos kenne, aber durchaus Bilder.
Edit: Bis gewisse Medien sich im Internet und der dahingenden massenhaftenden Verbreitung fanden, hatten starke technische Unterschiede zeitgefunden. Grob schätzungsweise 10 Jahre zwischen Bildern und Videos. Daher erklärt auch die Zeit die bessere Übertragungstechnik / Datenintegrität zwischen den beiden Medien.
-
Themen Author - Forum Kenner
- Beiträge: 209
- Registriert: Donnerstag 17. Februar 2022, 13:39
- CPU: Intel I9-14900K
- GPU: PNY 4090 OC
- Kernel: 6.6.8-2-MANJARO
- Desktop-Variante: KDE Plasma
- GPU Treiber: Nvidia 12.545.29.06
- Hat sich bedankt: 94 Mal
- Danksagung erhalten: 10 Mal
Re: Fragen zu CRC
Es scheint also schon so zu sein, dass ein fehlerhaftes Bit allein zu einem fehlerhaften Programm und somit Funktionialität führen kann. Die Frage ist, ob man das immer direkt zu Beginn merkt oder ob dies zu unberechenbarem Verhalten des Programms selber führt.
-
- Forum Held
- Beiträge: 2245
- Registriert: Dienstag 24. Mai 2016, 13:33
- CPU: Intel i5-3210M
- GPU: Intel HD 4000
- Kernel: 4.19
- Desktop-Variante: Openbox
- GPU Treiber: i915
- Hat sich bedankt: 20 Mal
- Danksagung erhalten: 504 Mal
Re: Fragen zu CRC
Hallo arminius,
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.
viele Grüsse gosia
Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.
viele Grüsse gosia
-
Themen Author - Forum Kenner
- Beiträge: 209
- Registriert: Donnerstag 17. Februar 2022, 13:39
- CPU: Intel I9-14900K
- GPU: PNY 4090 OC
- Kernel: 6.6.8-2-MANJARO
- Desktop-Variante: KDE Plasma
- GPU Treiber: Nvidia 12.545.29.06
- Hat sich bedankt: 94 Mal
- Danksagung erhalten: 10 Mal
Re: Fragen zu CRC
Ich kann anhand deiner Ausführungen nun besser die Wahrscheinlichkeiten einschätzen. Dinge wie herunterfallender Laptop, überschreiben von Daten ohne Backup usw. sind Faktoren, die ich als Mensch beeinflussen kann. Mir ist es wichtig, dass ich nicht Programme auf dem PC speichere, die irgendwann mal nach nach der Apokalypse ihren Dienst verweigerngosia hat geschrieben: ↑Dienstag 12. April 2022, 11:25 Hallo arminius,Ach, da bin ich mal ganz kühn und sage, dass Du, was "umgekippte Bits" betrifft, bei 99,9% aller Programme solch einen Fehler nicht haben wirst. Und bei den verbleibenden 0,1% wirst Du dies zu 99,9% aus den schon genannten Gründen sofort merken, weil das Paket gar nicht erst startet. Und so ausgelöstes "unberechenbares Verhalten" halte ich für ausgeschlossen, was auch immer Du darunter verstehst.
Mein Fazit: Es gibt viele wichtigere Problemverursacher, die sehr wahrscheinlicher sind als dies. Angefangen vom versehentlichen Überschreiben/Löschen von wichtigen Daten ohne vorhandenes Backup, testen von experimenteller Software, die eigentlich noch nicht freigegeben ist, falsche Treiber, formatieren der falschen Partition usw. bis hin zu der betrüblichen Tatsache dass mitten beim Updaten ein Blitz die Stromleitung deines PC lahmlegt oder die Katze beim Spielen den Laptop vom Schrank aus zwei Meter Höhe auf den gekachelten/gefliesten Fussboden befördert. Reicht auch schon, dass die Festplatte aus Altersschwäche plötzlich die Arbeit verweigert. Mehr mögliche und wahrscheinliche Unglücksfälle überlasse ich jetzt der Phantasie von Dir und den anderen Usern hier im Forum.
viele Grüsse gosia
Es scheint also nahezu ausgeschlossen, dass aufgrund fehlerhafter Dateiübertragung Packages oder Archive Schaden nehmen. Damit kann ich was anfangen.
Vielen Dank euch allen für die Antworten.