2011年8月24日

[ruby-list:48341] Re: 1.25を %10.1f で出力したときバージョンにより表示に違いがでるのは何故でしょうか。

pa*xです。

実のところもとはRubyではなく、C++とFortranの数値計算で表示が異なったことがきっかけでした。すいません。
最初のメールにあるようにいろいろとほかの処理系も調べていたところ、

Rubyが1.8.6と1.8.7以降で動作が違うこと、RubyとJRubyで動作が違うことが気になり質問した次第です。
現状ではBCD演算までは考えていません。示唆ありがとうございました。

なかむら(う)さんによると1.8.7では1.8.6と同じ動作らしく、1.9系から丸めの動作がかわる筈らしい
ようなのですが、手元の現象とは異なりました。ちょっと気になっています。
JRubyの動作はJavaにあわせているのだと想像しています。

> 浮動小数点数とはそういうものなので、そういうものでは困る場合、
> 10進のまま考えたいという場合は BigDecimal 等を使ってください。


投稿者 xml-rpc : 2011年8月24日 17:34
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/105926
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。