2005年12月23日
1-1=をGoogleで
1-1は「0」ですが、
1.0-0.9-0.1をGoolgleの電卓機能で計算すると・・・だそうです。
投稿者 nagasawa : 2005年12月23日 15:11
トラックバック
このエントリーのトラックバックURL:(モダシンへのリンクが記事中にない場合は弾かれます)
1218
コメント
ヘンテコな数字が確かに出てきますねw
ちなみに括弧をつけると正しく計算してくれますね。
投稿者 Kuro:Neko
: 2005年12月23日 16:07
google電卓が、科学技術計算用だとすれば、この動作は問題ありません。
財務計算用だとしたら、この動作ではダメです。
つまり、2進数の浮動小数点演算なのか、10進数の固定少数点演算なのか、ということですね。科学技術計算では前者を、財務計算では後者を使います。浮動小数点演算では、表現できる数値の幅が広いかわりに、精度落ちが発生します。
google電卓は、"h"でプランク定数が出たりするところから見て、科学技術計算用なのでしょう。
投稿者 トヲル : 2005年12月24日 02:21