計算範囲、計算桁数、精度について
本機の計算範囲、内部計算桁数、および精度は、下表の通りです。
計算範囲と精度
| 計算範囲 | ±1 × 10-99 ~ ±9.999999999 × 1099 または 0 | 
| 内部計算桁数 | 23桁 | 
| 精度 | 原則として1回の計算につき10桁目の誤差が±1となります。指数で表示する場合には誤差は表示されている仮数表示の最下位桁において±1となります。連続した計算では、この誤差が累積されます。 | 
関数計算時の入力範囲と精度
| 関数 | 入力範囲 | |
|---|---|---|
| sinx cosx | 度数法(D) | 0 ≤ |x| < 9 × 109 | 
| 弧度法(R) | 0 ≤ |x| < 157079632.7 | |
| グラード(G) | 0 ≤ |x| < 1 × 1010 | |
| tanx | 度数法(D) | sinxと同様、ただし、|x| = (2n - 1) × 90を除く | 
| 弧度法(R) | sinxと同様、ただし、|x| = (2n - 1) × π/2を除く | |
| グラード(G) | sinxと同様、ただし、|x| = (2n - 1) × 100を除く | |
| sin-1x, cos-1x | 0 ≤ |x| ≤ 1 | |
| tan-1x | 0 ≤ |x| ≤ 9.999999999 × 1099 | |
| sinhx, coshx | 0 ≤ |x| ≤ 230.2585092 | |
| sinh-1x | 0 ≤ |x| ≤ 4.999999999 × 1099 | |
| cosh-1x | 1 ≤ x ≤ 4.999999999 × 1099 | |
| tanhx | 0 ≤ |x| ≤ 9.999999999 × 1099 | |
| tanh-1x | 0 ≤ |x| ≤ 9.999999999 × 10-1 | |
| logx, lnx | 0 < x ≤ 9.999999999 × 1099 | |
| 10x | -9.999999999 × 1099 ≤ x ≤ 99.99999999 | |
| √x | 0 ≤ x < 1 × 10100 | |
| x2 | |x| < 1 × 1050 | |
| x-1 | |x| < 1 × 10100; x ≠ 0 | |
| x! | 0 ≤ x ≤ 69 (x は整数) | |
| nPr | 0 ≤ n < 1 × 1010, 0 ≤ r ≤ n (n, r は整数)1 ≤ {n!/(n - r)!} < 1 × 10100 | |
| nCr | 0 ≤ n < 1 × 1010, 0 ≤ r ≤ n (n, r は整数)1 ≤ n!/r! < 1 × 10100 または 1 ≤ n!/(n - r)! < 1 × 10100 | |
| Pol(x, y) | |x|, |y| ≤ 9.999999999 × 1099√x2 + y2 ≤ 9.999999999 × 1099 | |
| Rec(r, θ) | 0 ≤ r ≤ 9.999999999 × 1099θ: sinxと同様 | |
| a°b’c” | |a|, b, c < 1 × 10100; 0 ≤ b, c | |
| a°b’c” = x | 0°0’0” ≤ |x| ≤ 9999999°59’59” | |
| xy | x > 0: -1 × 10100 < ylogx < 100  | |
| x√y | y > 0: x ≠ 0, -1 × 10100 < 1/x logy < 100  | |
| a b/c | 整数、分子、分母の合計が10桁以内(区切りマーク含む) | |
| RanInt#(a, b) | a < b; |a|, |b| < 1 × 1010; b - a < 1 × 1010 | |
| GCD(a, b) | |a|, |b| < 1 × 1010 (a, b は整数) | |
| LCM(a, b) | 0 ≤ a, b < 1 × 1010 (a, b は整数) | |
計算の精度は、基本的には「計算範囲と精度」で示しているとおりです。
xy、x√y、x!、nPr、nCr など、内部で連続して計算するタイプの関数では、内部での1回の計算ごとに発生した誤差が累積されます。
関数の特異点や変曲点の近傍で、誤差が累積されて大きくなることがあります。
SETTINGS メニューの「入力/出力」で「数学自然表示入出力」が選択されているとき、計算結果を π 形式で表示できる数値は、|x| < 106 の範囲です。ただし内部計算の誤差により、π 形式で表示できない場合があります。また、小数になるはずの計算結果が π 形式になってしまう場合があります。
