2006年7月 4日

[ruby-list:42503] floatの値がずれる

hirocyと申します.

floatをどんどん加算していくと,ときどき期待する値からずれることがあります.
# rubyの問題ではないかもしれませんが...

たとえば,

x = [0.0]

100.times { x << x[-1] + 0.001 }
p x

とすると,途中で
0.0720000000000001
などが現れます.

これを回避する方法はないでしょうか?
もっと複雑な数を足して行く場合,下手に切り捨てるわけにもいかないので.

--
// hirocy

投稿者 xml-rpc : 2006年7月 4日 18:38
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/42430
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。