cos150°=-2/√3ではないのでしょうか？
なので、計算すると10になるかと。(ちょっと自信が...)
後、余談ですけど、勝手にAB=aとかAC=cとかにして書かない方が良いのではないかと思います。最初に「AB=aとおく」という風に断ってから使うか、そのままABとして使うかにした方が良いと思います。