2011年9月29日

[ruby-list:48422] Re: 切り捨てについて教えてください

こんにちは、なかむら(う)です。

In message "[ruby-list:48421] 切り捨てについて教えてください"
on Sep.29,2011 03:37:29, <acnakada@xxxxx> wrote:
> この違いはなぜでしょうか? 教えてください

目に見えているものが必ず正しいわけでもありません。

一般に、コンピュータの浮動小数点数演算は2進数で行われるため、
我々が扱いたがる10進数で同じ値を考えた場合、割り切れるかどう
かが異なるケースがあります。
そのため、10進数で考えた場合に当然予測される値と、実際にコン
ピュータが計算した結果とが微妙に異なる値となることがあります。

私のコンピュータの場合、1300*0.7の値は具体的には
909.9999999999998863131622783839702606201171875
になります。
よって、小数点以下の切捨てを行うと909になります。


それでは。
--
U.Nakamura <usa@xxxxx>

投稿者 xml-rpc : 2011年9月29日 04:12
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/106577
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。