Tag: floating-accuracy
Hinsichtlich der Genauigkeit der Operationen auf Gleitkommazahlen.
Big float-zahlen seltsame Ergebnisse
3 Antworten
In java bin ich mit float zu speichern, die zahlen. Ich entschied mich für die float-format, wie ich arbeite sowohl mit Ganzzahlen und double-zahlen, wobei die zahlen unterschiedlich sind, kann es große Integer-zahlen oder big double zahlen
postgresql Runde Hälfte nach unten Funktion
6 Antworten
die Runde(numeric,integer) - Funktion in PostgreSQL nur Runden bis: round(cast (41.0255 as numeric),3) ==> 41.026 Da brauchen wir ein round-Funktion gibt 41.025 und (ganz überraschend) gibt es nicht so eine Funktion in PostgreSQL (wir verwenden 9.1.5), wir
Was ist der größte denormalisierte und normalisierten Zahl?(64bit, IEE 754-1985)
1 Antworten
Ich bin struggeling mit floating-point-Arithmetik, weil ich wirklich wollen, um dieses Thema zu verstehen! Ich weiß, dass die zahlen in wissenschaftlicher Schreibweise dargestellt. Also für beide zahlen die Exponenten Aussehen sollte: Denormalisierte Zahl: 11....11 so (1+1/2 +
Python-float - str - float-Verrücktheit
4 Antworten
>>> float(str(0.65000000000000002)) 0.65000000000000002 >>> float(str(0.47000000000000003)) 0.46999999999999997 ??? Was ist hier Los? Wie kann ich umwandeln 0.47000000000000003 string-und die sich ergebenden Wert zurück zu schwimmen? Ich bin mit Python 2.5.4 auf Windows. Hinzugefügt ieee-754-tag RC: ich denke, dass
Integer-zahlen und float-Präzision
9 Antworten
Dies ist mehr eine numerische Analyse eher als Programmier-Frage, aber ich nehme an, einige von Euch werden in der Lage sein, Sie zu beantworten. In der Summe zwei Schwimmern, ist es die Präzision verloren? Warum? In der
SQL server 2005 numerische Präzision Verlust
3 Antworten
Debuggen einige Finanz-bezogene SQL-code gefunden, der ein seltsames Problem mit numerischen(24,8) Mathematik Präzision. Ausführen der folgenden Abfrage auf Ihre MSSQL, Sie würden Holen Sie sich A + B * C-Ausdruck Ergebnis 0.123457 WÄHLEN SIE EIN, B, C,
php intval() und floor() return-Wert zu niedrig?
5 Antworten
Weil der float-Datentyp in PHP ist ungenau, und ein SCHWIMMER in MySQL nimmt mehr Platz als ein INT (und ungenau), die ich immer store-Preise wie INTs, multipling von 100 vor dem speichern, um sicherzustellen, dass wir haben
Ist es möglich auf 0 durch Subtraktion zwei ungleiche floating-point-zahlen?
12 Antworten
Ist es möglich, dass die division durch 0 (oder unendlich) in dem folgenden Beispiel? public double calculation(double a, double b) { if (a == b) { return 0; } else { return 2 / (a - b);
MySQL "größer als" - Bedingung manchmal kehrt Zeile mit gleichem Wert
3 Antworten
Ich in ein Unverständliches Problem mit einem basic-MySQL-Abfrage. Dies ist meine Tabelle: id | rating 1 | 1317.17 2 | 1280.59 3 | 995.12 4 | 973.88 Nun, ich bin versucht zu finden, die alle Zeilen, in
Ruby-float-Präzision
2 Antworten
Wie ich es verstehe, Ruby (1.9.2) Schwimmer haben eine Genauigkeit von 15 Dezimalstellen. Daher würde ich erwarten, dass die Rundung float x zu 15 Dezimalstellen würde gleich x. Für diese Berechnung ist dies nicht der Fall. x
Math.Pow wobei ein integer-Wert
4 Antworten
Vom http://msdn.microsoft.com/en-us/library/system.math.pow.aspx int value = 2; for (int power = 0; power <= 32; power++) Console.WriteLine("{0}^{1} = {2:N0}", value, power, (long) Math.Pow(value, power)); Math.Pow nimmt gleichzeitig als Argumente, doch sind wir hier vorbei in ints. Frage: gibt
Division ein double mit integer
3 Antworten
Stehe ich vor einem Problem beim teilen einer double mit einem int. Code-snippet : double db = 10; int fac = 100; double res = db / fac; Den Wert von res wird 0.10000000000000001 statt 0.10. Weiß
Die Manipulation und Vergleich von floating-points in java
8 Antworten
In Java der Gleitkomma-Arithmetik ist nicht vertreten, genau. Zum Beispiel dieser java-code: float a = 1.2; float b= 3.0; float c = a * b; if(c == 3.6){ System.out.println("c is 3.6"); } else { System.out.println("c is not
Griff von Dezimalzahlen in mysqli
1 Antworten
Ich die Preise für einige Einträge in einer mysql-Tabelle. Beim erstellen der Tabelle bin ich mit DECIMAL(10,2) wie ich brauchen nicht mehr als 2 Ziffern nach dem Komma (z.B.: 123,45 akzeptiert werden würde als ein Eingang aber
Legen Sie alle BigDecimal-Operationen, um eine gewisse Genauigkeit?
7 Antworten
Mein Java-Programm ist zentriert rund um die hohe Präzision der Berechnungen, die müssen genau sein, mindestens 120 Dezimalstellen. Folgerichtig, sind alle nicht-ganze zahlen werden dargestellt, indem BigDecimals in das Programm. Ich natürlich angeben müssen, die Genauigkeit der
Floating-point-Formatierungen in printf()
4 Antworten
Ich habe ein array von floats, wo die Daten gespeichert sind, mit unterschiedlichen Dezimalstellen, so sind einige 123.40000, 123.45000, 123.45600...jetzt wenn ich drucken möchte, werden diese Werte in den string ohne die 0 am Ende in printf()
Schnelle Exp-Berechnung: mögliche, um Genauigkeit zu verbessern, ohne zu viel Leistung?
5 Antworten
Ich versuche aus dem schnellen Exp(x) Funktion, die vorher beschrieben wurde, diese Antwort auf eine Frage ALSO auf die Verbesserung der Geschwindigkeit der Berechnung, die in C#: public static double Exp(double x) { var tmp = (long)(1512775
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Warum sind diese zahlen nicht gleich sind?
6 Antworten
Folgende code ist natürlich falsch. Was ist das problem? i <- 0.1 i <- i + 0.05 i ## [1] 0.15 if(i==0.15) cat("i equals 0.15") else cat("i does not equal 0.15") ## i does not equal 0.15
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Wie zu verwenden Ergebnismenge von java zu bekommen genaue Wert der float von mysql
1 Antworten
Ist es möglich, in Java verwende ich ResultSet zu bekommen, der genaue Wert der float von mysql? In meine Datenbank von mysql, ich habe einige Werte von float sind sehr lang(z.B. 123456789, mehr als 7-stellig), ich weiß,
Ist floating point math kaputt?
29 Antworten
Betrachten Sie den folgenden code: 0.1 + 0.2 == 0.3 -> false 0.1 + 0.2 -> 0.30000000000000004 Warum diese Ungenauigkeiten passieren? Floating-point-Variablen haben in der Regel dieses Verhalten. Sie wird verursacht durch, wie Sie gespeichert sind, in
Große zahlen fälschlicherweise Runden in JavaScript
6 Antworten
Finden Sie diesen code: <html> <head> <script src="http://www.json.org/json2.js" type="text/javascript"></script> <script type="text/javascript"> var jsonString = '{"id":714341252076979033,"type":"FUZZY"}'; var jsonParsed = JSON.parse(jsonString); console.log(jsonString, jsonParsed); </script> </head> <body> </body> </html> Wenn ich sehe, meine Konsole in Firefox 3.5 den Wert jsonParsed
Was ist die standard-Lösung in JavaScript für die Handhabung großer Zahl (BigNum)?
2 Antworten
Ist es ein bignum-Bibliothek für JavaScript oder built-in, ich kann zählen wie <script type="text/javascript" src="the_bignum_library.js"></script> ? Ich denke, dass meine Nutzer würde lieber zahlen eingeben in einem web-Seite und warten Sie 7 Sekunden für ein Ergebnis, sondern
SQL Server-Datentyp Float Berechnung vs decimal
2 Antworten
In der folgenden Abfrage declare @a float(23) declare @b float(23) declare @c float(53) set @a = 123456789012.1234 set @b = 1234567.12345678 set @c = @a * @b select @c select LTRIM(STR((@c),32,12)) declare @x decimal(16,4) declare @y decimal(16,8)
Dezimalstelle Probleme mit float und decimal.Dezimal
6 Antworten
Scheine ich zu verlieren eine Menge Präzision mit Schwimmern. Ich zum Beispiel zum lösen einer matrix: 4.0x -2.0y 1.0z =11.0 1.0x +5.0y -3.0z =-6.0 2.0x +2.0y +5.0z =7.0 Dies ist der code, den ich verwenden, um importieren
Division von float-zahlen in JavaScript
5 Antworten
Ich versuche zu teilen "screenwidth" durch eine variable in der Reihenfolge zu zeichnen, in gleichem Abstand UI-Teile in webview. Jedoch, wenn die variable 3 ist, 100 /3 Ergebnisse 33.3333333333333336 in JavaScript, und der Dritte Teil kann nicht
Java float genauer als das doppelte?
3 Antworten
Code: class Main { public static void main (String args) { System.out.print("float: "); System.out.println(1.35f-0.00026f); System.out.print("double: "); System.out.println(1.35-0.00026); } } Ausgabe: float: 1.34974 double: 1.3497400000000002 ??? Schwimmer bekam die richtige Antwort, aber doppelt ist das hinzufügen von zusätzlichen
Immer die dezimale Teil eines Doppel-Swift
5 Antworten
Ich versuche, trennen Sie die decimal und integer-Teile von a-Doppel von swift. Ich habe versucht eine Reihe von Ansätzen, aber Sie alle führen in das gleiche Problem... let x:Double = 1234.5678 let n1:Double = x % 1.0
N-te Wurzel einer Zahl
9 Antworten
Habe ich ein Programm geschrieben zum berechnen der N-TEN Wurzel aus einer Zahl bis zu 2 Nachkommastellen. z.B. die 4. Wurzel aus 81 ist 3., 3. Wurzel 125 ist 5.Seine arbeiten gut, außer für die 2. Wurzel
C# falsche Subtraktion? 12.345 - 12 = 0.345000000000001
5 Antworten
Ich bin Anfänger in C# und ich arbeite mit floating-point-zahlen. Ich brauche Subtraktion zwischen diesen beiden zahlen, aber es funktioniert nicht. Ich weiß, es ist verursacht durch floating-point-Zahl, aber wie kann ich es beheben bitte und wenn
Java - die Schnellere alternative zu Mathe.pow() und Math.sqrt()
5 Antworten
Mein Programm verwendet Math.pow() zu berechnen ist eine relativ große double-Zahl mit der Potenz von 2 ist. Später brauche ich zum finden der Wurzel einer sehr großen Doppel-Nummer. Das problem ist, ich habe zu tun, das über
Zu schreiben versucht, einen code für die Suche nach der Maschine epsilon
6 Antworten
Ich versuche, herauszufinden, die Genauigkeit für verschiedene floating-point-Formate in C (d.h., float, double und long double). Hier ist der code, den ich verwende im moment: #include <stdio.h> #define N 100000 int main(void) { float max = 1.0,
For-Schleife in C++ unter Verwendung von Doppel-Ausbruch einen Schritt früh -, Grenz-Wert nicht erreicht
10 Antworten
Ich habe ein einfaches C++ - Programm kompiliert mit gcc-4.2.4 auf 32-bit Ubuntu 8.04. Es hat eine for-Schleife, in der ein double variable wird um eins erhöht, von null auf eins mit einer bestimmten Schrittweite. Wenn die
Für Die Gleitkommarechnung Geltende Beschränkungen
3 Antworten
Mein code: a = '2.3' Wollte ich display a als eine floating-point-Wert. Seit a ist eine Zeichenfolge, die ich ausprobiert: float(a) Den Ergebnissen, die ich bekam, war : 2.2999999999999998 Möchte ich eine Lösung für dieses problem. Bitte,
Warum ist die Ausgabe von inv() und pinv() nicht gleich in Matlab und Octave?
3 Antworten
Habe ich bemerkt, dass, wenn a Eine NxN-matrix, und die inverse matrix. Aber was die inv() und pinv () - Funktion die Ausgabe ist anders. Mein Umfeld ist Win7x64 SP1, Matlab R2012a, Cygwin Octave-3.6.4, FreeMat 4.2 Haben
Ganzzahlige Potenzierung in OCaml
4 Antworten
Gibt es eine Funktion, die für ganzzahlige Potenzierung in OCaml? ** nur für Schwimmer. Obwohl es scheint meist richtig, gibt es nicht eine Möglichkeit, Präzision Fehler, so etwas wie 2. ** 3. = 8. false zurückgeben, manchmal?
Abschneiden float-zahlen mit PHP
11 Antworten
Wenn ein float-Zahl abgeschnitten werden müssen, eine bestimmte Ziffer nach dem floating-point -, es stellt sich heraus, dass es ist nicht einfach zu tun. Zum Beispiel, wenn die abschneiden muss getan werden, um die zweite Ziffer nach
Umgang mit Genauigkeit Probleme im floating-point-zahlen
8 Antworten
Ich Frage mich, ob es eine Möglichkeit der überwindung einer Genauigkeit problem zu sein scheint, dass das Ergebnis meiner Maschine der internen Darstellung von Gleitkommazahlen: Gründen der übersichtlichkeit wird das problem so zusammengefasst: //str is "4.600"; atof(
PI und die Genauigkeit der floating-point-Zahl
10 Antworten
Einem Einzel - /Doppel - /extended-precision-floating-point-Darstellung von Pi ist genau bis zu wie vielen Nachkommastellen? Dies kann nicht beantwortet werden, ohne dass Sie sagen, welche Sprache verwenden Sie und wo sind Sie immer PI aus? Verwenden Sie
Floating-point-Gleichheit und Toleranzen
7 Antworten
Vergleicht zwei floating-point-Zahl, indem Sie so etwas wie a_float == b_float ist auf der Suche nach ärger, da a_float /3.0 * 3.0 vielleicht nicht gleich a_float durch Rundungsfehler. Was man normalerweise tut, ist so etwas wie fabs(a_float
Wie kann ich die floating-point-Präzision in Perl?
5 Antworten
Gibt es eine Möglichkeit ein Perl-Skript ist floating-point-Genauigkeit (3 stellen), ohne es explizit für jede variable? Etwas ähnliches wie TCL: global tcl_precision set tcl_precision 3 InformationsquelleAutor der Frage Igor Oks | 2009-12-03
Was ist ein einfaches Beispiel von floating-point - /Rundungsfehler?
5 Antworten
Ich habe gehört, der "Fehler" bei der Verwendung von floating-point-Variablen. Jetzt versuche ich dieses Rätsel zu lösen, und ich glaube, ich bin immer einige Runden/floating-point-Fehler. So bin ich schließlich gehen, um herauszufinden, die Grundlagen der floating-point-Fehler. Was
Wie kann man einen CGFloat sicher in den Boden stellen?
3 Antworten
Brauche ich oft bis zum Boden oder ceil eine CGFloat zu einem intfür die Berechnung des array-index. Das problem, das ich dauerhaft sehen mit floorf(theCGFloat) oder ceilf(theCGFloat) ist, dass es Probleme mit floating-point-Ungenauigkeiten. Also was ist, wenn
Große Zahlen fälschlicherweise in Javascript gerundet
6 Antworten
Finden Sie diesen code: <html> <head> <script src="http://www.json.org/json2.js" type="text/javascript"></script> <script type="text/javascript"> var jsonString = '{"id":714341252076979033,"type":"FUZZY"}'; var jsonParsed = JSON.parse(jsonString); console.log(jsonString, jsonParsed); </script> </head> <body> </body> </html> Wenn ich sehe, meine Konsole in Firefox 3.5 den Wert jsonParsed
- 1
- 2