| Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
| Autor |
Nachricht |
ralfkannenberg
Anmeldedatum: 22.02.2006
Beiträge: 4788
|
 Verfasst am: 26.10.2009, 12:40 Titel: Qualitätssichernde Massnahmen |
 |
|
| Zitat: | | Allerdings lässt dieser Fehler einen Rückschluss auf die Qualität des, hier im Forum offenbar hochgeschätzten, Verfahren des "Peer-Reviews", dem [GM08] unterzogen wurde, zu. |
Hallo zusammen,
von o.g. Beitrag inspiriert möchte ich mit diesem Thread einige - allgemein gehaltene - Informationen über qualitätssichernde Massnahmen geben. Selbstverständlich kann eine solche Einführung nicht die genauere Lektüre über diese Thematik ersetzen und überdies ist zu beachten, dass bei der Umsetzung durchaus fachspezifische Besonderheiten zu berücksichtigen sind.
Der Lifecycle eines Projektes umfasst typischerweise mehrere Planungs- und Spezifikationsphasen und die Gesamtkosten fallen deutlich geringer aus, wenn man diese Phasen, auch wenn sie auf den ersten Blick keine "Resultate" liefern, gründlich tätigt. Nicht minder wichtig ist es, diese frühen Phasen ebenfalls auf Fehler zu überprüfen, denn je früher ein Fehler gefunden wird, desto einfacher und insbesondere preisgünstiger lässt er sich beheben.
Oftmals wird zwischen "statischen Tests" und "dynamischen Tests" unterschieden; bei einem statischen Test kommen gewisse "überprüfende" Methoden zur Anwendung, bei einem dynamischen Test wird eine Vorversion des Produktes "ausprobiert".
Ich werde mich im Folgenden also auf die statischen Tests konzentrieren, welches oftmals durch Reviews durchgeführt werden. Reviews können sehr gute Resultate liefern, sie können aber auch völlig unbrauchbare Resultate liefern; so war es früher in der Software-Entwicklung oft Brauch, von Revisoren den Programmcode untersuchen zu lassen und die Zahl der gefundenen Fehler spielte dann bei der nächsten Gehaltserhöhung oder Bonus-Zumessung des Programmcode-Erstellers eine Rolle. Es wird also nicht verwundern, dass bei einer solchen Review-Durchführung das Anliegen des Autors des Prüflings sein wird, Fehler so gut wie möglich zu vertuschen und da Arbeitskollegen oftmals auch Hemmungen haben, ihre Kollegen "reinzureiten" und umgekehrt bei wohlwollendem Verhalten auch erwarten, selber wohlwollend beurteilt zu werden, bringen solche Reviews kaum Verbesserungen mit sich. Deswegen werden bei Reviews oftmals externe Review-Moderatoren eingesetzt und überdies die direkten Vorgesetzen nicht in den Review-Prozess involviert - ein budgetverantwortlicher Projektleiter wird Interesse haben, dass preisgünstig auffindbare Fehler auch wirklich gefunden werden, ohne dass seine Fachleute Nachteile erleiden, und eine Firma, die eine solche angenehme Reviewkultur pflegt, hat einen wesentlichen Wettbewerbsvorteil, da schon einfache Reviews 80% aller Fehler preisgünstig aufdecken können, ehe umständliche Simulationsprogramme aufwändig installiert werden. Mit aufwändigeren Reviews können entsprechend mehr Fehler gefunden werden und auch aufwändige Reviews sind oftmals preisgünstiger als andere qualitätssichernde Massnahmen wie dynamische Tests, bei denen sich das Produkt bereits soweit entwickelt sein muss, dass es überhaupt testbar ist, d.h. solche Fehler werden per Review zu einem früheren Zeitpunkt gefunden und entsprechend preisgünstiger ist die Korrektur im Produkt.
Bei guten Reviews werden typischerweise verschiedene Aufgaben verteilt und die Findings mit verschiedenen Prioritäten versehen; so ist es beispielsweise bei meinem Arbeitgeber nicht üblich, bei internen Dokumenten in jedem Teil-Release alle Rechtschreibfehler zu korrigieren; sowas wird typischerweise erst in den Clean-Up-Phasen, wenn nach der Produkteeinführung etwas Ruhe einkehrt, gemacht und wenn die Zeit dazu fehlt, wird niemand widersprechen, wenn das in die Cleanup-Phase eines späteren Releases verschoben wird.
Das ist beispielsweise bei Werbeaktionen anders: Wenn eine Autofirma ihr neuestes Modell in der Reklame falsch schreibt, dann ist das natürlich ein Killer-Kriterium, d.h. die Prioritäten liegen je nach Produkt unterscheidlich, was eigentlich nicht weiter verwunderlich ist.
Überdies scheinen manche Optimisten zu glauben, dass ein gutes Review alle Fehler eliminieren könnte; das ist natürlich unrealistisch !
Aber mit einem guten Review kann man typischerweise über 95% aller Fehler eliminieren und das lohnt sich allemal.
Bei Anwendungen, die möglichst wenige Fehler enthalten dürfen - sicherlich gehört der Snack-Automat am Bahnhof, dem die Papierrolle für die Erstellung einer Quittung ausgeht, nicht dazu - müssen dann natürlich zusätzlich zum Review zusätzliche qualitätssichernde Massnahmen getätigt werden, auch wenn diese teuer sind; bei Software-Produkten ist dies typischerweise eine dynamische Testphase, die mehrere Teststufen und innerhalb derer mehrere Zyklen durchläuft.
Eine der teuersten, aber auch besten zusätzlichen Qualitätsmassnahmen ist die unabhängige Zweitentwicklung eines Produktes: Da nur noch solche Fehler unentdeckt bleiben, die sowohl von der einen als auch von der zweiten Entwicklergruppe übersehen wurden, quadriert sich das Restrisiko.
Was bedeutet das nun im Falle von wissenschaftlichen Publikationen ?
Nehmen wir an, eine seriös und sorgfältig erstellte wissenschaftliche Publikationen enthält einen Fehler von rund 1/10^n. Mit Hilfe von Reviews lässt sich diese Fehlerrate also auf 1/10^(n+2) senken - das ist, wenn es z.B. um die Sicherheit der Erde geht, natürlich nicht sonderlich viel. Das ist aber auch gar nicht das Ziel solcher Reviews: Ziel ist es vielmehr, möglichst viele fehlerhafte Publikationen zu erkennen und diese frühzeitig abzuweisen. Das ist ja auch der Grund, warum zahlreiche "alternative" Forscher unter Angabe allerlei "Gründe" auf Peer Reviews verzichten: Nicht, weil sie aus edlen Motiven eine 0%-ige Fehlerrate anstreben, sondern weil sie wissen, dass das Peer-Review im Gegensatz zur laienhaften Öffentlichkeit ihre Inkonsistenzen gnadenlos aufdecken wird. - Eine teure unabhängige Zweitanalyse indes quadiert die verbleibende Fehlerrate, d.h. der Exponent wird verdoppelt, so dass das Restrisiko auf 1/10^(2*n+4) sinkt.
Ein bestandenes Peer Review ist also nur ein erster Schritt, dass eine Arbeit gute Qualität aufweist; mit Hilfe einer unabhängigen Zweitanalyse indes kann die Qualität indes nochmals wesentlich erhöht werden.
Ob nun das Aufdecken von einfachen Schreibfehlern zu den Erkennungszielen eines Review über eine naturwissenschaftliche Arbeit gehört, dem hohe Priorität zugewiesen wird, vermag ich nicht zu beurteilen; dazu können aber auf Rückfrage Personen, die im Wissenschaftsbetrieb berufstätig sind, sicherlich Auskunft geben.
Freundliche Grüsse, Ralf |
|
| Nach oben |
|
 |
Barney
Anmeldedatum: 19.10.2008
Beiträge: 1538
|
| Verfasst am: 26.10.2009, 21:09 Titel: Re: Qualitätssichernde Massnahmen |
|
|
| ralfkannenberg hat Folgendes geschrieben: |
Ob nun das Aufdecken von einfachen Schreibfehlern zu den Erkennungszielen eines Review über eine naturwissenschaftliche Arbeit gehört, dem hohe Priorität zugewiesen wird, vermag ich nicht zu beurteilen; dazu können aber auf Rückfrage Personen, die im Wissenschaftsbetrieb berufstätig sind, sicherlich Auskunft geben.
|
Hallo Ralf,
mit obigem Text machst Du natürlich ein ziemlich großes Fass auf, was aber durchaus seine Berechtigung hat. Um die Diskussion hier etwas zu forcieren, möchte ich jedoch das Thema gerne etwas einschränken:
Wir alle wissen, dass der Aufhänger für Solkar´s Beitrag der LHC ist und meiner Meinung nach sind wir mit der Aufklärung leider immer noch nicht so weit, dass der Allgemeinheit genügend allgemein verständliche Erklärungen gegeben wurden, was am LHC so gemacht wird und warum das auch Sinn macht. So Auswüchse, wie das Streiten über Rechtschreib-, bzw. Flüchtigkeitsfehler ist m.M. nach nur ein Symtpom des eben genannten Mißstandes. Vielleicht können wir ja in den nächsten Monaten noch entsprechende Beiträge finden, so dass praktisch für jeden Geschmack ein paar weiterführende Gedanken aufgeführt sind. Viele Aspekte des G&M-papers wurden hier im AC-Forum noch gar nicht erwähnt und da wird sicherlich noch so einiges thematisiert werden.
Die Praxis der wissenschaftlichen Veröffentlichungen mit PeerReview wird sich in der nächsten Zeit sowieso nicht ändern, weil jeder, der dieses Verfahren kennt, genau weiß, dass es dazu praktisch keine sinnvolle Alternativen gibt. Welchen Einfluß das Internet dabei in Zukunft spielen wird, bleibt dabei natürlich offen und soll zumindest von meiner Seite auch nicht weiter thematisiert werden.
MfG |
|
| Nach oben |
|
|
Solkar
Anmeldedatum: 29.05.2009
Beiträge: 293
|
| Verfasst am: 28.10.2009, 11:02 Titel: Re: Qualitätssichernde Massnahmen |
|
|
| Barney hat Folgendes geschrieben: | | Um die Diskussion hier etwas zu forcieren, möchte ich jedoch das Thema gerne etwas einschränken: |
Ich auch.
Also: "Butter bei die Fische" - reden wir wir über die Qualität etwaiger "Peer-Reviews" von [GM08] :
- den "Tippfehler" bei d_0 (S.50) ("7x^10^-3" statt "7x^10^-13" in der Printversion) lässt darauf schliessen, dass dort nicht nachgerechnet wurde
- eq (3.5) wurde nicht sauber hergeleitet; der Thread http://www.relativ-kritisch.net/forum/viewtopic.php?t=1523 zeigt das deutlich; die ersten Seiten des Threads bestehen aus "Hyoothesen" von Barney, Erik und mir, wie die Autoren das wohl gemeint haben könnten. Solche "Hypothesen" sollten gar nicht notwendig sein.
- eq (3.15) steht gänzlich unbegründet da
- Oberhalb von eq (3.18) steht
| Giddings & Mangano hat Folgendes geschrieben: |
where $\Omega_{D-2}$ is the volume of the unit D-2 sphere" |
(Bold von mir).
Eine korrekte Formulierung wäre aber,
| Barney hat Folgendes geschrieben: | | where $\Omega_{D-2}$ is the surface of the unit [...]D-2 sphere". |
(http://www.relativ-kritisch.net/forum/viewtopic.php?p=36260#36260)
@Barney: Ich hab das zweite "Omega" gestrichen.
Wobei mir, nebenbei bemerkt, auffällt, dass [MP86] dort in eq (1.7) einen Term in D-1 anschreiben, ob und ggf. wie das mit [GM08] zusammenhängt, ist mir noch unklar; [MP86] ist ein sehr anspruchsvolles Paper
Bevor sich jemand der Plattitüde "Das Paper verwenden G&M ja auch gar nicht für ihre Schwarzschild- Gleichung!" nicht enthalten kann - stimmt! G&M belegen eq (3.15) wie bereits gesagt, überhaupt nicht! [MP86] habe ich aus der Bemerkung zur Kerr-Lösung unterhalb von (3.18)
- In [GM08] findet sich kein expliziter Ansatz mittels "Kerr"-Lösung, obwohl Kerr unterhalb von eq. (3.18) angesprochen wird. Wieso? Falls da eine Näherung dahinterstecken sollte - wo ist die Fehlerabschätzung?
(3.5) und (3.15) sind DIE zentralen Gleichungen des Papers [GM08] und beide Gleichungen "hängen in der Luft" ; ich kann mir schwerlich einen Diplomanden irgendeiner Fachrichtung vorstellen, der es wagen würde, sowas seinem Prof. vorzulegen.
Refs (BibTeX)
=============
[GM08]
@article{Giddings:2008gr,
author = "Giddings, Steven B. and Mangano, Michelangelo L.",
title = "{Astrophysical implications of hypothetical stable TeV-
scale black holes}",
year = "2008",
url = "http://arxiv.org/abs/0806.3381v2",
journal = "Phys. Rev.",
volume = "D78",
pages = "035009",
eprint = "0806.3381",
archivePrefix = "arXiv",
primaryClass = "hep-ph",
doi = "10.1103/PhysRevD.78.035009",
SLACcitation = "%%CITATION = 0806.3381;%%"
}
[MP86]
@article{Myers:1986un,
author = "Myers, Robert C. and Perry, M. J.",
title = "{Black Holes in Higher Dimensional Space-Times}",
journal = "Ann. Phys.",
volume = "172",
year = "1986",
pages = "304",
doi = "10.1016/0003-4916(86)90186-7",
SLACcitation = "%%CITATION = APNYA,172,304;%%"
}
[Tan63]
@article{Tangherlini:1963bw,
author = "Tangherlini, F. R.",
title = "{Schwarzschild field in n dimensions and the dimensionality
of space problem}",
journal = "Nuovo Cim.",
volume = "27",
year = "1963",
pages = "636-651",
doi = "10.1007/BF02784569",
SLACcitation = "%%CITATION = NUCIA,27,636;%%"
} |
|
| Nach oben |
|
|
Barney
Anmeldedatum: 19.10.2008
Beiträge: 1538
|
| Verfasst am: 28.10.2009, 11:31 Titel: Re: Qualitätssichernde Massnahmen |
|
|
| Solkar hat Folgendes geschrieben: | ich kann mir schwerlich einen Diplomanden irgendeiner Fachrichtung vorstellen, der es wagen würde, sowas seinem Prof. vorzulegen.
|
Hallo Solkar,
vielen Dank für Deine schöne Zusammenfassung der formalen Fehler von [GM08]. Trotzdem: Das paper erfüllt seinen Zweck und ist noch immer die Diskussionsgrundlage für die Sicherheitsdebatte und damit hat das paper eine sehr starke Existenzberechtigung. Imo ist Deine Bewertungen der "Fehler" des papers doch ziemlich überzogen, was nicht heißen soll, daß die Stringtheorie bereits eine fertige Theorie ist.
MfG |
|
| Nach oben |
|
|
Solkar
Anmeldedatum: 29.05.2009
Beiträge: 293
|
| Verfasst am: 28.10.2009, 11:35 Titel: |
|
|
Ich bewerte hier nicht die Gültigkeit des Papers, sondern die Qualität der "Reviews".
Aber war ein netter Versuch, Barney; try again! |
|
| Nach oben |
|
|
Barney
Anmeldedatum: 19.10.2008
Beiträge: 1538
|
| Verfasst am: 28.10.2009, 11:41 Titel: Re: Qualitätssichernde Massnahmen |
|
|
| Barney hat Folgendes geschrieben: | was nicht heißen soll, daß die Stringtheorie bereits eine fertige Theorie ist.
MfG |
-> womit ich nicht suggerieren will, dass man über LXDs bereits alles weiß. |
|
| Nach oben |
|
|
Aragorn
Anmeldedatum: 23.06.2006
Beiträge: 1120
|
|
| Nach oben |
|
|
Solkar
Anmeldedatum: 29.05.2009
Beiträge: 293
|
| Verfasst am: 28.10.2009, 14:19 Titel: |
|
|
| Aragorn hat Folgendes geschrieben: | | Das macht man in Lehrbüchern, aber weshalb sollte diese Gleichung in einer Sicherheitsanalyse hergeleitet werden? |
<IRONIE>(*)
Weshalb sollte man überhaupt Referenzen in einer wiss. Arbeit aufführen?
Die Experten haben die Papers doch eh alle gelesen...
</IRONIE>
Von "herleiten" war übrigens nicht die Rede, sondern von "begründen". Ein Verweis auf [Tan63] hätte genügt.
(*) Die Tags sind nicht für Dich, Aragorn. Manch andere rallen Ironie einfach nicht. |
|
| Nach oben |
|
|
Aragorn
Anmeldedatum: 23.06.2006
Beiträge: 1120
|
| Verfasst am: 28.10.2009, 15:28 Titel: |
|
|
| Hast du neben diesen Kinkerlitzchen in GM08 auch irgendwelche für das Ergebnis relevanten Fehler gefunden? |
|
| Nach oben |
|
|
Solkar
Anmeldedatum: 29.05.2009
Beiträge: 293
|
| Verfasst am: 28.10.2009, 15:44 Titel: |
|
|
Immer locker bleiben, Aragorn...
Hier im Forum wird von einigen Tn behauptet, dass [GM08] und andere Sicherheitsstudien ausreichend seien, die Sicherheit der Versuche zu behaupten. Dass sich immer das auf eigenes, umfassendes, Verständnis der Papers gründet, ist wohl nicht anzunehmen; so dicht liegt die physikalische Kompetenz hier im Forum nun auch wieder nicht. Also bleiben als Begründung für solche Laien-Aussagen nur das Vertrauen in die Autoren und das hier viel strapazierte "Peer-Review".
Jenes Review zerleg ich hier grade.
---
Die Korrektheit des Papers und seiner Schlussfolgerungen diskutieren wir ja grade an anderer Stelle, http://www.relativ-kritisch.net/forum/viewtopic.php?t=1606, wie gerade Du nun ganz genau weisst.
Hier in diesem Thread geht es um "Review"-Qualität und um nichts anderes.
War sonst noch was?
Grüsse,
Solkar |
|
| Nach oben |
|
|
Kondensat
Anmeldedatum: 23.10.2008
Beiträge: 874
|
| Verfasst am: 28.10.2009, 15:59 Titel: |
|
|
| Solkar hat Folgendes geschrieben: |
Jenes Review zerleg ich hier grade.
|
hochmut......wie war das damit doch noch gleich?
_________________
resistance is futile.... |
|
| Nach oben |
|
|
Solkar
Anmeldedatum: 29.05.2009
Beiträge: 293
|
| Verfasst am: 28.10.2009, 16:11 Titel: |
|
|
@Kondensat:
Gibt's eigentlich Phrasendreschmaschinen auch schon als Borg-Implantat?
Falls ja, juckt sowas nicht ganz fürchterlich? 
SCNR |
|
| Nach oben |
|
|
Aragorn
Anmeldedatum: 23.06.2006
Beiträge: 1120
|
| Verfasst am: 28.10.2009, 16:24 Titel: |
|
|
| Solkar hat Folgendes geschrieben: | | Jenes Review zerleg ich hier grade. |
Naja, bisher war das ja sehr dürftig. Wann geht es denn richtig los?
Wann kommen denn dort die Fehler, welche mehr als 0,000000000000000000001% Abweichung vom Endergebnis liefern, zur Sprache? |
|
| Nach oben |
|
|
Kondensat
Anmeldedatum: 23.10.2008
Beiträge: 874
|
| Verfasst am: 28.10.2009, 19:24 Titel: |
|
|
ach weisst.....mit der zeit gewöhnt man sich daran und die nanobots im blut leisten ganze arbeit....
solltest du hingegen allergische hautreaktionen auf kritik entwickeln, empfehle ich immer den gang zum hautarzt....ich habe damit zum glück keine probleme, denn mein kinderstubenimplantat funktioniert ganz hervorragend....
HAND & YMMV
_________________
resistance is futile.... |
|
| Nach oben |
|
|
|
|
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
|
|
FAQ
Suchen
Mitgliederliste
Benutzergruppen
Registrieren
Profil
Einloggen, um private Nachrichten zu lesen
Login
