2011年8月24日

[ruby-list:48340] Re: 1.25を %10.1f で出力したときバージョンにより表示に違いがでるのは何故でしょうか。

いろいろありがとうございます。
こういう理解でおっけーでしょうか。

0.375 だと2進0.110でキリがよいので問題が(みえ)ない。

倍精度で仮数部に52ビットとれるすると
0.45は0.011100110011001100110011001100110011001100110011001
10進にもどして0.45にほぼ戻る

銀行家丸め、で0.5の表示

もし単精度で仮数部が23ビットとすると
0.45だと0.0111001100110011001100
10進にもどして 0.449999809265137

丸めは printf で行うものとしてe-2の桁は5に満たないとみなされて 0.4


投稿者 xml-rpc : 2011年8月24日 17:21
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/105925
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。